Ranking-Lauf 16.05.2026
Claude Opus 4.7 führt mit 78/100 über alle Domänen. Steuerrecht: Claude Opus 4.7 (69) · Medizin: GPT-5 (85) · Jura: Claude Opus 4.7 (85) · Wirtschaftsrecht: GPT-5 (79).
Gesamt über alle Domänen
| # | Modell | top100 | 95 % CI | Δ Vorlauf | Ausfälle | Sek. Median/p90 | Hallu-Band | pro 1000 Tok. | Δ eigene Familie |
|---|---|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 4.7 | 0 | 21 / 36 | 78 | 73–83 | +3 | 53 | 1,50 | — |
| 2 | GPT-5 | 0 | 30 / 44 | 73 | 68–79 | +3 | 59 | 0,74 | — |
| 3 | Gemini 2.5 Pro | 0 | 20 / 24 | 46 | 40–52 | +1 | 72 | 4,17 | — |
| 4 | Mistral Large 2 | 0 | 16 / 368 | 44 | 36–52 | -2 | 44 | 4,06 | — |
| 5 | Grok 4.3 | 0 | 9 / 17 | 41 | 33–49 | — | 69 | 4,83 | — |
Δ Vorlauf = Differenz zum vorherigen publizierten Lauf; „—" = Modell war dort nicht dabei. Hallu-Band: 100 = keine, 0 = ≥ 4 Falschbehauptungen pro Antwort. Pro 1000 Tok. = markierte Behauptungen je 1000 Ausgabe-Tokens (längen-normiert). Δ eigene Familie = Score mit allen Judges minus Score nur mit anbieterfremden Judges, in Punkten; positiv = die eigene Familie bewertet großzügiger; „—" = vor code_version 0.2.8 nicht erfasst oder kein fremder Judge (Methodik §4, §6.5).
Steuerrecht · 8 Items
Platz 1–2 statistisch gleichauf (95-%-CI überlappt mit Platz 1)
Im Bereich Steuerrecht widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,9 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 1,9 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 2,0 pro Antwort. Auf die Antwortlänge bezogen: 2,24 pro 1000 Ausgabe-Tokens, am niedrigsten GPT-5 mit 0,81.
| # | Modell | top100 | 95 % CI | Δ Vorlauf | widerspricht Soll-Fakt | zusätzl. falsch/unbelegt | Ø gesamt | Antworten betroffen | pro 1000 Tok. | IRR |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 4.7 | 69 | 61–76 | +1 | 0,9 | 1,9 | 2,8 | 100 % | 2,24 | 78 % |
| 2 | GPT-5 | 61 | 48–73 | +8 | 0,9 | 1,5 | 2,4 | 100 % | 0,81 | 80 % |
| 3 | Gemini 2.5 Pro | 26 | 16–40 | -4 | 1,3 | 0,8 | 2,0 | 88 % | 9,17 | 65 % |
| 4 | Grok 4.3 | 18 | 8–28 | — | 1,6 | 0,5 | 2,1 | 88 % | 8,54 | 59 % |
| 5 | Mistral Large 2 | 13 | 7–19 | 0 | 2,3 | 1,4 | 3,6 | 100 % | 7,32 | 52 % |
Medizin · 9 Items
Platz 1–2 statistisch gleichauf (95-%-CI überlappt mit Platz 1)
Im Bereich Medizin widerspricht GPT-5 (Score-Spitze) im Mittel in 0,2 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 1,1 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 0,6 pro Antwort. Auf die Antwortlänge bezogen: 0,81 pro 1000 Ausgabe-Tokens.
| # | Modell | top100 | 95 % CI | Δ Vorlauf | widerspricht Soll-Fakt | zusätzl. falsch/unbelegt | Ø gesamt | Antworten betroffen | pro 1000 Tok. | IRR |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | GPT-5 | 85 | 79–90 | +5 | 0,2 | 1,1 | 1,3 | 100 % | 0,81 | 80 % |
| 2 | Claude Opus 4.7 | 81 | 70–89 | -1 | 0,2 | 0,9 | 1,1 | 89 % | 1,09 | 84 % |
| 3 | Mistral Large 2 | 68 | 59–77 | +1 | 0,3 | 0,9 | 1,2 | 100 % | 2,18 | 73 % |
| 4 | Gemini 2.5 Pro | 52 | 45–58 | -2 | 0,2 | 0,4 | 0,6 | 78 % | 2,41 | 69 % |
| 5 | Grok 4.3 | 52 | 47–59 | — | 0,2 | 0,3 | 0,6 | 44 % | 2,59 | 74 % |
Jura · 8 Items
Im Bereich Jura widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,1 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 0,6 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 63 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Grok 4.3 mit Ø 0,1 pro Antwort. Auf die Antwortlänge bezogen: 0,83 pro 1000 Ausgabe-Tokens, am niedrigsten GPT-5 mit 0,60.
| # | Modell | top100 | 95 % CI | Δ Vorlauf | widerspricht Soll-Fakt | zusätzl. falsch/unbelegt | Ø gesamt | Antworten betroffen | pro 1000 Tok. | IRR |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 4.7 | 85 | 80–90 | +8 | 0,1 | 0,6 | 0,7 | 63 % | 0,83 | 92 % |
| 2 | GPT-5 | 68 | 56–79 | +2 | 0,5 | 0,6 | 1,0 | 75 % | 0,60 | 66 % |
| 3 | Gemini 2.5 Pro | 53 | 43–65 | +2 | 0,4 | 0,2 | 0,4 | 25 % | 1,97 | 69 % |
| 4 | Mistral Large 2 | 49 | 41–58 | 0 | 0,4 | 0,6 | 1,0 | 88 % | 3,28 | 65 % |
| 5 | Grok 4.3 | 48 | 35–59 | — | 0,0 | 0,1 | 0,1 | 13 % | 0,65 | 68 % |
Wirtschaftsrecht · 8 Items
Platz 1–2 statistisch gleichauf (95-%-CI überlappt mit Platz 1)
Im Bereich Wirtschaftsrecht widerspricht GPT-5 (Score-Spitze) im Mittel in 0,6 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 1,2 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 1,5 pro Antwort. Auf die Antwortlänge bezogen: 0,69 pro 1000 Ausgabe-Tokens.
| # | Modell | top100 | 95 % CI | Δ Vorlauf | widerspricht Soll-Fakt | zusätzl. falsch/unbelegt | Ø gesamt | Antworten betroffen | pro 1000 Tok. | IRR |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | GPT-5 | 79 | 71–87 | -1 | 0,6 | 1,2 | 1,8 | 100 % | 0,69 | 70 % |
| 2 | Claude Opus 4.7 | 77 | 68–84 | +5 | 0,8 | 2,2 | 2,9 | 100 % | 1,54 | 79 % |
| 3 | Gemini 2.5 Pro | 50 | 41–59 | +6 | 0,9 | 0,7 | 1,5 | 88 % | 3,82 | 63 % |
| 4 | Grok 4.3 | 44 | 28–61 | — | 1,5 | 0,6 | 2,1 | 100 % | 5,22 | 61 % |
| 5 | Mistral Large 2 | 43 | 30–55 | -8 | 1,6 | 1,5 | 3,2 | 100 % | 3,83 | 48 % |
Roh-Daten dieses Laufs
raw.jsonl und progress.jsonl sind die öffentlichen, um Antworttexte bereinigten Streams (Kontaminationsschutz, Methodik §7).