Ranking-Lauf 10.05.2026
Claude Opus 4.7 führt mit 77/100 über alle Domänen. Steuerrecht: Claude Opus 4.7 (68) · Medizin: GPT-5 (83) · Jura: Claude Opus 4.7 (82) · Wirtschaftsrecht: GPT-5 (76).
Gesamt über alle Domänen
| # | Modell | top100 | 95 % CI | Δ Vorlauf | Ausfälle | Sek. Median/p90 | Hallu-Band | pro 1000 Tok. | Δ eigene Familie |
|---|---|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 4.7 | 0 | 20 / 32 | 77 | 73–80 | -1 | 52 | 1,50 | — |
| 2 | GPT-5 | 0 | 34 / 46 | 67 | 59–75 | -9 | 60 | 0,74 | — |
| 3 | Mistral Large 2 | 0 | 16 / 368 | 46 | 37–55 | +1 | 38 | 4,44 | — |
| 4 | Gemini 2.5 Pro n=11/33 | 22 | 18 / 34 | 21 | 13–30 | +6 | 97 | 1,17 | — |
Δ Vorlauf = Differenz zum vorherigen publizierten Lauf; „—" = Modell war dort nicht dabei. Hallu-Band: 100 = keine, 0 = ≥ 4 Falschbehauptungen pro Antwort. Pro 1000 Tok. = markierte Behauptungen je 1000 Ausgabe-Tokens (längen-normiert). Δ eigene Familie = Score mit allen Judges minus Score nur mit anbieterfremden Judges, in Punkten; positiv = die eigene Familie bewertet großzügiger; „—" = vor code_version 0.2.8 nicht erfasst oder kein fremder Judge (Methodik §4, §6.5).
Steuerrecht · 8 Items
Im Bereich Steuerrecht widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,6 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 1,8 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 0,0 pro Antwort. Auf die Antwortlänge bezogen: 1,82 pro 1000 Ausgabe-Tokens, am niedrigsten Gemini 2.5 Pro mit 0,00.
| # | Modell | top100 | 95 % CI | Δ Vorlauf | widerspricht Soll-Fakt | zusätzl. falsch/unbelegt | Ø gesamt | Antworten betroffen | pro 1000 Tok. | IRR |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 4.7 | 68 | 63–73 | -3 | 0,6 | 1,8 | 2,5 | 100 % | 1,82 | 81 % |
| 2 | GPT-5 | 42 | 26–57 | -48 | 2,0 | 1,0 | 3,0 | 100 % | 1,11 | 70 % |
| 3 | Mistral Large 2 | 7 | 2–13 | -5 | 2,8 | 1,7 | 4,5 | 100 % | 9,96 | 56 % |
| 4 | Gemini 2.5 Pro | 0 | 0–0 | -12 | 0,0 | 0,0 | 0,0 | 0 % | 0,00 | 100 % |
Medizin · 9 Items
Platz 1–3 statistisch gleichauf (95-%-CI überlappt mit Platz 1)
Im Bereich Medizin widerspricht GPT-5 (Score-Spitze) im Mittel in 0,4 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 0,5 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 0,2 pro Antwort. Auf die Antwortlänge bezogen: 0,62 pro 1000 Ausgabe-Tokens.
| # | Modell | top100 | 95 % CI | Δ Vorlauf | widerspricht Soll-Fakt | zusätzl. falsch/unbelegt | Ø gesamt | Antworten betroffen | pro 1000 Tok. | IRR |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | GPT-5 | 83 | 73–92 | +1 | 0,4 | 0,5 | 0,9 | 100 % | 0,62 | 72 % |
| 2 | Claude Opus 4.7 | 82 | 77–87 | -4 | 0,2 | 1,0 | 1,2 | 100 % | 1,19 | 83 % |
| 3 | Mistral Large 2 | 68 | 61–75 | +2 | 0,3 | 1,0 | 1,3 | 100 % | 2,20 | 75 % |
| 4 | Gemini 2.5 Pro | 29 | 19–40 | +10 | 0,0 | 0,2 | 0,2 | 40 % | 1,73 | 88 % |
Jura · 8 Items
Platz 1–2 statistisch gleichauf (95-%-CI überlappt mit Platz 1)
Im Bereich Jura widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,3 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 1,1 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 0,0 pro Antwort. Auf die Antwortlänge bezogen: 1,47 pro 1000 Ausgabe-Tokens, am niedrigsten Gemini 2.5 Pro mit 0,00.
| # | Modell | top100 | 95 % CI | Δ Vorlauf | widerspricht Soll-Fakt | zusätzl. falsch/unbelegt | Ø gesamt | Antworten betroffen | pro 1000 Tok. | IRR |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 4.7 | 82 | 76–87 | +2 | 0,3 | 1,1 | 1,4 | 100 % | 1,47 | 76 % |
| 2 | GPT-5 | 64 | 49–78 | -1 | 0,5 | 0,5 | 1,0 | 75 % | 0,52 | 70 % |
| 3 | Mistral Large 2 | 53 | 49–56 | +4 | 0,5 | 0,9 | 1,4 | 100 % | 3,97 | 63 % |
| 4 | Gemini 2.5 Pro | 17 | 7–34 | +10 | 0,0 | 0,0 | 0,0 | 0 % | 0,00 | 78 % |
Wirtschaftsrecht · 8 Items
Platz 1–2 statistisch gleichauf (95-%-CI überlappt mit Platz 1)
Im Bereich Wirtschaftsrecht widerspricht GPT-5 (Score-Spitze) im Mittel in 0,6 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 0,9 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 0,0 pro Antwort. Auf die Antwortlänge bezogen: 0,59 pro 1000 Ausgabe-Tokens, am niedrigsten Gemini 2.5 Pro mit 0,00.
| # | Modell | top100 | 95 % CI | Δ Vorlauf | widerspricht Soll-Fakt | zusätzl. falsch/unbelegt | Ø gesamt | Antworten betroffen | pro 1000 Tok. | IRR |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | GPT-5 | 76 | 69–83 | — | 0,6 | 0,9 | 1,5 | 100 % | 0,59 | 74 % |
| 2 | Claude Opus 4.7 | 74 | 65–82 | 0 | 0,6 | 2,1 | 2,7 | 100 % | 1,48 | 78 % |
| 3 | Mistral Large 2 | 52 | 42–64 | -1 | 1,1 | 1,6 | 2,7 | 100 % | 3,42 | 55 % |
| 4 | Gemini 2.5 Pro | 20 | 20–20 | — | 0,0 | 0,0 | 0,0 | 0 % | 0,00 | 80 % |
Roh-Daten dieses Laufs
raw.jsonl und progress.jsonl sind die öffentlichen, um Antworttexte bereinigten Streams (Kontaminationsschutz, Methodik §7).