Ranking der aktuell verlässlichsten KI-Systeme für Steuer, Medizin und Recht.

Weil sie etwas anderes messen. Die großen öffentlichen Leaderboards bewerten meist generische Aufgaben — Multiple-Choice-Wissen (MMLU), Chat-Präferenz nach Bauchgefühl (LMArena), Coding-Aufgaben, fast durchweg auf Englisch. Der AI-Roundtable Leaderboard misst etwas sehr Schmales und Konkretes: deutschsprachige Berufsträger-Fälle aus Steuerrecht, Medizin, Jura und Wirtschaftsrecht, gegen von Hand hinterlegte Soll-Fakten, source-label-blinded von drei Judge-Familien geprüft.

Ein Modell, das eine generische englische Bestenliste anführt, kann auf einem § 8c-KStG-Mandatsfall oder einer Differentialdiagnose anders abschneiden — genau das zeigen unsere Domänen-Aufschlüsselungen. Drei Fragen entscheiden, ob zwei Rankings überhaupt vergleichbar sind: Was wird gemessen, auf welcher Aufgaben­art und Sprache, und zu welchem Datum (Modell-Versionen ändern sich rapide — daher unser 14-Tage-Rhythmus). Unsere Antworten auf diese drei Fragen sind offengelegt und im Audit-Trail nachprüfbar; das ist der eigentliche Unterschied.

Hinzu kommt bei manuellen wissenschaftlichen Studien oft die Problematik, dass zwischen Durchführung und Veröffentlichung der (zumeist ernüchternden) Ergebnisse z.T. sehr lange Zeiträume von >1,5 Jahren liegen können. Das bedeutet die Studienveröffentlichungen die Sie aktuell vielleicht in den News gelesen haben beziehen sich damit größtenteils auf KI-Modelle die vor über 12 Monaten Stand der Technik waren. Das sind in aktuellen IT-Epochen aber sprichtwörtlich Lichtjahre. Aber vor allen Dingen weiß der Nutzer damit in dieser Sekunde immer noch nicht, was JETZT also aktuell das beste Modell wäre. Dieses ist daher auch der Grund warum wir in unseren Leaderboard-Ranking alle 2 Wochen, alle populären Top-Modell messen. Nur so schaffen wir echte, zeitnahe Transparenz und vor allen Dingen Verlaufsdarstellungen mit praktischem Nutzen.

Für anspruchsvolle Fälle: oft ja — und genau so positionieren wir den Leaderboard. Die Fachkraft bleibt vorerst der Maßstab und die letzte Instanz. Unsere eigenen Zahlen sagen dasselbe: selbst das Orakel (für jede Frage vorab das jeweils beste Modell wählen — praktisch nicht erreichbar) bleibt über alle Domänen unter 100 Punkten. Es gibt einen harten Rest, den derzeit kein Modell löst (warum eine Zahl pro Modell täuscht).

KI ist hier ein Werkzeug zur Unterstützung und Zweitmeinung, kein Ersatz für die fachliche Beurteilung. Der Leaderboard hilft, für die nächsten zwei Wochen das verlässlichste verfügbare Werkzeug zu wählen — die inhaltliche Verantwortung, die Gegen-Lektüre und die Letztentscheidung bleiben beim Berufsträger. Die Ranking-Werte sind methodisch abgeleitete Orientierung, ausdrücklich keine rechtliche, steuerliche oder ärztliche Beratung.

Allerdings ist eine weitere Ehrlichkeit des täglichen Lebens notwendigerweise einzugestehen: Wie hoch die Wahrscheinlichkeit ist mit (s)einer persönlichen Frage an einen menschlichen Fachexperten zu gelangen, der tatsächlich "die" gewünschte korrekte und fundierte Antwort geben kann, ist ebenfalls unsicher. Denn auch nicht jeder Mensch ist tatsächlich uneingeschränkter Experte seines Fachs. Beispiel: Unser Roundtable KI Modell hätte das schweizerische Jura-Staatsexamen in allen Durchlöufen mit einer Abschlussnote von 1.x im ersten Durchlauf bestanden. Wieviele Menschen schaffen das ebenfalls? Erfahrungsgemäß wenige. Und noch weniger sind definitiv besser als eine KI - noch. Wie hoch die Wahrscheinlichkeit ist mit einem Anliegen bei einem tatsächlichen Experten zu landen, möge der Leser besser selbst einschätzen.

Praktisch in fünf Schritten:

• Modell pro Domäne wählen. Für die nächste Aufgabe das aktuell für Ihre Domäne (Steuer / Medizin / Jura / Wirtschaftsrecht) am höchsten platzierte Modell einsetzen — nicht pauschal „das beste Modell".
• Nicht einem einzigen Modell vertrauen. Bei wichtigen Fragen mehrere Modelle gegeneinander prüfen lassen; der Abstand zum Orakel zeigt, dass jedes fix gewählte Solo-Modell Lücken hat.
• Output als Entwurf behandeln. Jede Antwort ist Zuarbeit, die fachliche Gegen-Lektüre bleibt Pflicht — vor allem bei hohem Score, der trügerisch sicher wirkt.
• Halluzinations-Rate mitlesen. Sie kalibriert, wie skeptisch Sie Fundstellen, Aktenzeichen und Zahlen prüfen sollten.
• Alle 14 Tage neu schauen. Die Empfehlung von vor drei Monaten ist heute oft die falsche — Modell-Versionen verschieben die Reihenfolge.

Es gibt mehrere wirksame Hebel, die sich kombinieren lassen:

• Mehrere unabhängige Modelle kreuzweise prüfen lassen. Das Prinzip hinter Triple-Judge und der AI-Roundtable App: ein Befund, den mehrere Modelle aus verschiedenen Familien tragen, ist belastbarer als die Aussage eines Einzelmodells.
• Antworten an Quellen binden. Statt freier Generierung das Modell mit echten Dokumenten und Fundstellen arbeiten lassen (Retrieval, Dokument-Abruf, Web-/URL-Abruf) und jede zitierte Stelle gegenprüfen.
• Mensch in der Schleife. Fachliche Abschluss-Kontrolle durch den Berufsträger bleibt der wichtigste Sicherheitsanker.
• Quellen einfordern und verifizieren. Explizit nach Aktenzeichen, Paragraph, Leitlinie fragen — und prüfen, ob es sie wirklich gibt.
• Das passende Modell für die Domäne wählen — nach aktuellem Ranking, nicht nach Gewohnheit.
• Sensible Daten pseudonymisieren, bevor sie ein Modell überhaupt sehen (in der App über den Mandatsmodus abgesichert).

Beides ist möglich — vollständig ausschließen lässt sich eine Halluzination nicht, aber erkennen und deutlich verringern.

Erkennen:

• Konsens über mehrere Modelle. Eine Tatsache, die nur ein einziges Modell behauptet und die anderen nicht stützen, ist verdächtig.
• Quellen-Abgleich. Prüfen, ob das genannte Aktenzeichen, der Paragraph oder die zitierte Studie real existiert — frei erfundene Fundstellen sind der häufigste Fall.
• Maschinelle Extraktion. Unsere Judges ziehen jede frei erfundene Behauptung (falsches Az., erfundener Paragraph, nicht-existierende Studie) wortwörtlich aus der Antwort und publizieren die aggregierte Halluzinations-Rate pro Lauf.

Reduzieren:

• An echte Quellen binden (Retrieval / Tool-Use): Das Modell argumentiert auf vorgelegten Dokumenten statt aus dem Gedächtnis.
• Modell-Debatte, in der sich die Modelle gegenseitig auf unbelegte Aussagen festnageln — genau das Verfahren der AI-Roundtable App.
• Zitate einfordern und verifizieren sowie eng umrissene, gut gestellte Prompts statt offener „Erzähl mir von …"-Fragen.

Mehr zur Halluzinations-Erfassung im Bewertungsverfahren: Methodik → Bewertung.

Bevor der Leaderboard im April 2026 in den Betrieb ging, wurde die Bewertungs-Pipeline in einer mehrmonatigen Validierungs-Studie über vier Berufsfelder hinweg geprüft. Erst nach Bestehen dieser Cross-Domain-Validierung wurden die heutigen Lauf-Parameter eingefroren.

Die in der Validierungs-Phase ermittelten methodischen Befunde (z. B. Mistral-Tax-Schwäche als Domain-Stratifikations-Effekt, Expert-Roles-Lift in BFH, Inter-Judge-Stabilität nach Tier-1-Prompts) fließen in die Methodik des laufenden Leaderboards ein und sind im vollständigen Methodik-Dokument nachvollziehbar dokumentiert.

Die vollständige Cross-Domain-Validierung mit allen Roh-Statistiken, Win-/Loss-/Tie-Tabellen pro Sub-Stratum, Limitations und Critique-Response liegt öffentlich als 10-File-Gist vor:

→ Public Validation Gist · 10 Files · ~80 Sessions Cross-Domain

Enthält u. a.: Methodik, Legal Study (BGH/BFH), Medical Study (BMJ + MedExpQA), Raw-Metrics-JSON, Production-Roadmap, Limitations & Threats-to-Validity, Critique Response, Layman Abstract. Direkt zur Limitations-Datei →