Ranking-Lauf 11.05.2026
Claude Opus 4.7 führt mit 75/100 über alle Domänen. Steuerrecht: Claude Opus 4.7 (69) · Medizin: GPT-5 (84) · Jura: Claude Opus 4.7 (79) · Wirtschaftsrecht: GPT-5 (74).
Gesamt über alle Domänen
| # | Modell | top100 | 95 % CI | Δ Vorlauf | Ausfälle | Sek. Median/p90 | Hallu-Band | pro 1000 Tok. | Δ eigene Familie |
|---|---|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 4.7 | 0 | 17 / 26 | 75 | 72–78 | -1 | 55 | 1,42 | — |
| 2 | GPT-5 | 0 | 29 / 51 | 70 | 66–74 | -3 | 61 | 0,73 | — |
| 3 | Gemini 2.5 Pro | 0 | 20 / 24 | 47 | 43–51 | +3 | 68 | 4,70 | — |
| 4 | Mistral Large 2 | 0 | 19 / 88 | 43 | 38–48 | -2 | 40 | 4,30 | — |
Δ Vorlauf = Differenz zum vorherigen publizierten Lauf; „—" = Modell war dort nicht dabei. Hallu-Band: 100 = keine, 0 = ≥ 4 Falschbehauptungen pro Antwort. Pro 1000 Tok. = markierte Behauptungen je 1000 Ausgabe-Tokens (längen-normiert). Δ eigene Familie = Score mit allen Judges minus Score nur mit anbieterfremden Judges, in Punkten; positiv = die eigene Familie bewertet großzügiger; „—" = vor code_version 0.2.8 nicht erfasst oder kein fremder Judge (Methodik §4, §6.5).
Steuerrecht · 24 Items
Im Bereich Steuerrecht widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,7 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 1,7 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 2,0 pro Antwort. Auf die Antwortlänge bezogen: 1,86 pro 1000 Ausgabe-Tokens, am niedrigsten GPT-5 mit 0,97.
| # | Modell | top100 | 95 % CI | Δ Vorlauf | widerspricht Soll-Fakt | zusätzl. falsch/unbelegt | Ø gesamt | Antworten betroffen | pro 1000 Tok. | IRR |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 4.7 | 69 | 63–76 | -2 | 0,7 | 1,7 | 2,4 | 100 % | 1,86 | 79 % |
| 2 | GPT-5 | 51 | 41–60 | -4 | 1,5 | 1,3 | 2,8 | 96 % | 0,97 | 70 % |
| 3 | Gemini 2.5 Pro | 31 | 24–38 | -1 | 1,4 | 0,7 | 2,0 | 96 % | 8,65 | 65 % |
| 4 | Mistral Large 2 | 11 | 8–15 | +2 | 2,4 | 1,6 | 4,0 | 100 % | 8,22 | 62 % |
Medizin · 27 Items
Platz 1–2 statistisch gleichauf (95-%-CI überlappt mit Platz 1)
Im Bereich Medizin widerspricht GPT-5 (Score-Spitze) im Mittel in 0,3 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 0,7 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 0,7 pro Antwort. Auf die Antwortlänge bezogen: 0,72 pro 1000 Ausgabe-Tokens.
| # | Modell | top100 | 95 % CI | Δ Vorlauf | widerspricht Soll-Fakt | zusätzl. falsch/unbelegt | Ø gesamt | Antworten betroffen | pro 1000 Tok. | IRR |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | GPT-5 | 84 | 80–87 | +2 | 0,3 | 0,7 | 1,0 | 100 % | 0,72 | 77 % |
| 2 | Claude Opus 4.7 | 82 | 76–86 | -1 | 0,3 | 1,0 | 1,3 | 100 % | 1,23 | 79 % |
| 3 | Mistral Large 2 | 67 | 62–70 | +3 | 0,6 | 0,7 | 1,2 | 100 % | 2,05 | 66 % |
| 4 | Gemini 2.5 Pro | 53 | 48–59 | -1 | 0,4 | 0,3 | 0,7 | 67 % | 3,01 | 71 % |
Jura · 24 Items
Platz 1–2 statistisch gleichauf (95-%-CI überlappt mit Platz 1)
Im Bereich Jura widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,3 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 0,7 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 79 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 0,4 pro Antwort. Auf die Antwortlänge bezogen: 1,01 pro 1000 Ausgabe-Tokens, am niedrigsten GPT-5 mit 0,53.
| # | Modell | top100 | 95 % CI | Δ Vorlauf | widerspricht Soll-Fakt | zusätzl. falsch/unbelegt | Ø gesamt | Antworten betroffen | pro 1000 Tok. | IRR |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 4.7 | 79 | 73–84 | +2 | 0,3 | 0,7 | 0,9 | 79 % | 1,01 | 78 % |
| 2 | GPT-5 | 71 | 66–76 | -2 | 0,3 | 0,7 | 0,9 | 75 % | 0,53 | 72 % |
| 3 | Gemini 2.5 Pro | 55 | 49–61 | +4 | 0,3 | 0,2 | 0,4 | 25 % | 1,85 | 70 % |
| 4 | Mistral Large 2 | 47 | 42–52 | -7 | 0,6 | 0,7 | 1,3 | 92 % | 4,25 | 60 % |
Wirtschaftsrecht · 24 Items
Platz 1–2 statistisch gleichauf (95-%-CI überlappt mit Platz 1)
Im Bereich Wirtschaftsrecht widerspricht GPT-5 (Score-Spitze) im Mittel in 0,5 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 1,1 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Auf die Antwortlänge bezogen: 0,60 pro 1000 Ausgabe-Tokens.
| # | Modell | top100 | 95 % CI | Δ Vorlauf | widerspricht Soll-Fakt | zusätzl. falsch/unbelegt | Ø gesamt | Antworten betroffen | pro 1000 Tok. | IRR |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | GPT-5 | 74 | 67–80 | -5 | 0,5 | 1,1 | 1,6 | 100 % | 0,60 | 63 % |
| 2 | Claude Opus 4.7 | 69 | 65–75 | -2 | 0,7 | 1,9 | 2,5 | 100 % | 1,42 | 62 % |
| 3 | Gemini 2.5 Pro | 46 | 38–54 | +8 | 1,1 | 0,9 | 2,0 | 92 % | 5,06 | 57 % |
| 4 | Mistral Large 2 | 45 | 37–54 | -7 | 1,3 | 1,9 | 3,1 | 100 % | 3,81 | 51 % |
Roh-Daten dieses Laufs
raw.jsonl und progress.jsonl sind die öffentlichen, um Antworttexte bereinigten Streams (Kontaminationsschutz, Methodik §7).