Ranking-Lauf 10.05.2026
Claude Opus 4.7 führt mit 78/100 über alle Domänen. Steuerrecht: GPT-5 (90) · Medizin: Claude Opus 4.7 (86) · Jura: Claude Opus 4.7 (80) · Wirtschaftsrecht: Claude Opus 4.7 (74).
Gesamt über alle Domänen
| # | Modell | top100 | 95 % CI | Δ Vorlauf | Ausfälle | Sek. Median/p90 | Hallu-Band | pro 1000 Tok. | Δ eigene Familie |
|---|---|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 4.7 | 0 | 19 / 30 | 78 | 74–82 | +1 | 54 | 1,47 | — |
| 2 | GPT-5 n=16/33 | 17 | 29 / 37 | 76 | 69–83 | -2 | 81 | 0,48 | — |
| 3 | Mistral Large 2 | 0 | 18 / 370 | 45 | 38–54 | -1 | 38 | 4,30 | — |
| 4 | Gemini 2.5 Pro n=5/33 | 28 | 33 / 35 | 15 | 10–23 | -17 | 96 | 1,61 | — |
Δ Vorlauf = Differenz zum vorherigen publizierten Lauf; „—" = Modell war dort nicht dabei. Hallu-Band: 100 = keine, 0 = ≥ 4 Falschbehauptungen pro Antwort. Pro 1000 Tok. = markierte Behauptungen je 1000 Ausgabe-Tokens (längen-normiert). Δ eigene Familie = Score mit allen Judges minus Score nur mit anbieterfremden Judges, in Punkten; positiv = die eigene Familie bewertet großzügiger; „—" = vor code_version 0.2.8 nicht erfasst oder kein fremder Judge (Methodik §4, §6.5).
Steuerrecht · 1 Items
Im Bereich Steuerrecht widerspricht GPT-5 (Score-Spitze) im Mittel in 0,0 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 0,0 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 0 % der Antworten enthalten mindestens eine Markierung. Auf die Antwortlänge bezogen: 0,00 pro 1000 Ausgabe-Tokens.
| # | Modell | top100 | 95 % CI | Δ Vorlauf | widerspricht Soll-Fakt | zusätzl. falsch/unbelegt | Ø gesamt | Antworten betroffen | pro 1000 Tok. | IRR |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | GPT-5 | 90 | 90–90 | — | 0,0 | 0,0 | 0,0 | 0 % | 0,00 | 71 % |
| 2 | Claude Opus 4.7 | 71 | 64–80 | +5 | 0,5 | 2,0 | 2,5 | 100 % | 1,89 | 87 % |
| 3 | Gemini 2.5 Pro | 12 | 13–13 | +12 | 0,0 | 0,3 | 0,3 | 100 % | 3,92 | 100 % |
| 4 | Mistral Large 2 | 12 | 8–15 | +3 | 2,5 | 1,3 | 3,8 | 100 % | 8,36 | 57 % |
Medizin · 9 Items
Platz 1–2 statistisch gleichauf (95-%-CI überlappt mit Platz 1)
Im Bereich Medizin widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,3 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 0,8 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 0,1 pro Antwort. Auf die Antwortlänge bezogen: 1,10 pro 1000 Ausgabe-Tokens, am niedrigsten GPT-5 mit 0,70.
| # | Modell | top100 | 95 % CI | Δ Vorlauf | widerspricht Soll-Fakt | zusätzl. falsch/unbelegt | Ø gesamt | Antworten betroffen | pro 1000 Tok. | IRR |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 4.7 | 86 | 81–92 | 0 | 0,3 | 0,8 | 1,1 | 100 % | 1,10 | 79 % |
| 2 | GPT-5 | 82 | 76–88 | -2 | 0,1 | 0,9 | 1,0 | 78 % | 0,70 | 68 % |
| 3 | Mistral Large 2 | 66 | 55–76 | -2 | 0,7 | 1,0 | 1,7 | 100 % | 2,70 | 67 % |
| 4 | Gemini 2.5 Pro | 19 | 13–29 | -24 | 0,0 | 0,1 | 0,1 | 33 % | 1,05 | 92 % |
Jura · 8 Items
Platz 1–2 statistisch gleichauf (95-%-CI überlappt mit Platz 1)
Im Bereich Jura widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,4 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 0,7 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 88 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 0,0 pro Antwort. Auf die Antwortlänge bezogen: 1,23 pro 1000 Ausgabe-Tokens, am niedrigsten Gemini 2.5 Pro mit 0,00.
| # | Modell | top100 | 95 % CI | Δ Vorlauf | widerspricht Soll-Fakt | zusätzl. falsch/unbelegt | Ø gesamt | Antworten betroffen | pro 1000 Tok. | IRR |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 4.7 | 80 | 72–88 | +2 | 0,4 | 0,7 | 1,1 | 88 % | 1,23 | 80 % |
| 2 | GPT-5 | 65 | 55–77 | -5 | 0,0 | 0,5 | 0,5 | 67 % | 0,29 | 58 % |
| 3 | Mistral Large 2 | 49 | 41–57 | -4 | 0,8 | 0,4 | 1,2 | 75 % | 3,52 | 56 % |
| 4 | Gemini 2.5 Pro | 7 | 7–7 | -31 | 0,0 | 0,0 | 0,0 | 0 % | 0,00 | 89 % |
Wirtschaftsrecht · 8 Items
Im Bereich Wirtschaftsrecht widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,5 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 2,2 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Auf die Antwortlänge bezogen: 1,52 pro 1000 Ausgabe-Tokens.
| # | Modell | top100 | 95 % CI | Δ Vorlauf | widerspricht Soll-Fakt | zusätzl. falsch/unbelegt | Ø gesamt | Antworten betroffen | pro 1000 Tok. | IRR |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 4.7 | 74 | 65–83 | -4 | 0,5 | 2,2 | 2,7 | 100 % | 1,52 | 74 % |
| 2 | Mistral Large 2 | 53 | 41–62 | +3 | 1,4 | 1,8 | 3,2 | 100 % | 3,74 | 59 % |
Roh-Daten dieses Laufs
raw.jsonl und progress.jsonl sind die öffentlichen, um Antworttexte bereinigten Streams (Kontaminationsschutz, Methodik §7).