Steuerrecht: Claude Opus 5 führt mit 89/100
14 Modelle auf 31 realen Steuerrecht-Fällen, bewertet von 4 unabhängigen Judge-Modellen gegen hinterlegte Soll-Fakten. Lauf vom 10. Sep 2026. Der Strich im Konfidenzintervall entscheidet, ob eine Reihenfolge belastbar ist.
Platz 1–2 statistisch gleichauf (95-%-CI überlappt mit Platz 1)
Im Bereich Steuerrecht widerspricht Claude Opus 5 (Score-Spitze) im Mittel in 0,3 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 3,9 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 3.1 Pro mit Ø 1,0 pro Antwort. Auf die Antwortlänge bezogen: 0,59 pro 1000 Ausgabe-Tokens, am niedrigsten DeepSeek V4 Pro mit 0,26.
| # | Modell | top100 | 95 % CI | Δ Vorlauf | widerspricht Soll-Fakt | zusätzl. falsch/unbelegt | pro 1000 Tok. |
|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 5 | 89 | 85–92 | +7 | 0,3 | 3,9 | 0,59 |
| 2 | Claude Fable 5.1 | 81 | 74–87 | +6 | 0,4 | 3,6 | 0,67 |
| 3 | GPT-6 Astra | 74 | 68–79 | +5 | 0,3 | 1,6 | 0,98 |
| 4 | Claude Opus 4.7 | 73 | 69–77 | 0 | 0,4 | 2,7 | 2,31 |
| 5 | GPT-5.6 Sol | 73 | 68–78 | +5 | 0,3 | 1,5 | 0,52 |
| 6 | Claude Opus 4.8 | 71 | 66–76 | +2 | 0,3 | 1,7 | 1,38 |
| 7 | GPT-5 | 65 | 57–73 | +3 | 0,8 | 2,0 | 0,45 |
| 8 | GLM-5.3 n=9 | 59 | 42–71 | +13 | 1,3 | 3,8 | 0,54 |
| 9 | Grok 4.5 | 58 | 53–63 | +3 | 0,4 | 0,9 | 3,61 |
| 10 | Kimi K3 n=15 | 58 | 43–71 | -6 | 1,2 | 3,1 | 0,49 |
| 11 | Grok 4.6 | 53 | 46–58 | -7 | 0,6 | 1,3 | 4,72 |
| 12 | Gemini 3.1 Pro | 49 | 43–54 | +4 | 0,4 | 0,6 | 4,22 |
| 13 | DeepSeek V4 Pro | 48 | 41–54 | -2 | 0,8 | 1,5 | 0,26 |
| 14 | Mistral Large 2 | 27 | 21–33 | -2 | 1,4 | 1,9 | 7,22 |
Alle Werte pro Antwort. „widerspricht Soll-Fakt" = aktiver Widerspruch zu einem hinterlegten Fakt (nachweislich falsch); „zusätzl. falsch/unbelegt" = vom Judge-Panel markierte Behauptungen außerhalb der Rubrik (Vereinigung über die Judges; unbelegt zählt mit). Definition: Methodik. Vollständiger Lauf: run-20260910T064154-bada0b.
← Alle vier Domänen auf der Startseite · Alle Läufe · Feed (Atom)