Ranking-Lauf 16.05.2026
Claude Opus 4.7 führt mit 76/100 über alle Domänen. Steuerrecht: Claude Opus 4.7 (64) · Medizin: Claude Opus 4.7 (87) · Jura: Claude Opus 4.7 (79) · Wirtschaftsrecht: GPT-5 (78).
Gesamt über alle Domänen
| # | Modell | top100 | 95 % CI | Δ Vorlauf | Ausfälle | Sek. Median/p90 | Hallu-Band | pro 1000 Tok. | Δ eigene Familie |
|---|---|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 4.7 | 0 | 22 / 36 | 76 | 71–82 | -2 | 55 | 1,40 | — |
| 2 | GPT-5 | 0 | 49 / 66 | 71 | 62–78 | -2 | 61 | 0,71 | — |
| 3 | Mistral Large 2 | 0 | 23 / 366 | 45 | 37–53 | +1 | 40 | 4,33 | — |
| 4 | Gemini 2.5 Pro | 0 | 19 / 22 | 44 | 38–51 | -2 | 73 | 4,23 | — |
| 5 | Grok 4.3 | 0 | 7 / 10 | 42 | 34–51 | +1 | 60 | 5,81 | — |
Δ Vorlauf = Differenz zum vorherigen publizierten Lauf; „—" = Modell war dort nicht dabei. Hallu-Band: 100 = keine, 0 = ≥ 4 Falschbehauptungen pro Antwort. Pro 1000 Tok. = markierte Behauptungen je 1000 Ausgabe-Tokens (längen-normiert). Δ eigene Familie = Score mit allen Judges minus Score nur mit anbieterfremden Judges, in Punkten; positiv = die eigene Familie bewertet großzügiger; „—" = vor code_version 0.2.8 nicht erfasst oder kein fremder Judge (Methodik §4, §6.5).
Steuerrecht · 8 Items
Platz 1–2 statistisch gleichauf (95-%-CI überlappt mit Platz 1)
Im Bereich Steuerrecht widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,8 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 1,5 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 1,8 pro Antwort. Auf die Antwortlänge bezogen: 1,73 pro 1000 Ausgabe-Tokens, am niedrigsten GPT-5 mit 0,87.
| # | Modell | top100 | 95 % CI | Δ Vorlauf | widerspricht Soll-Fakt | zusätzl. falsch/unbelegt | Ø gesamt | Antworten betroffen | pro 1000 Tok. | IRR |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 4.7 | 64 | 58–72 | -5 | 0,8 | 1,5 | 2,3 | 100 % | 1,73 | 77 % |
| 2 | GPT-5 | 46 | 26–65 | -15 | 1,6 | 0,8 | 2,4 | 100 % | 0,87 | 65 % |
| 3 | Gemini 2.5 Pro | 29 | 16–43 | +3 | 1,4 | 0,5 | 1,8 | 88 % | 8,36 | 64 % |
| 4 | Grok 4.3 | 18 | 4–35 | 0 | 2,4 | 1,0 | 3,3 | 100 % | 11,68 | 56 % |
| 5 | Mistral Large 2 | 13 | 8–19 | 0 | 2,0 | 1,7 | 3,7 | 100 % | 7,77 | 59 % |
Medizin · 9 Items
Platz 1–2 statistisch gleichauf (95-%-CI überlappt mit Platz 1)
Im Bereich Medizin widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,2 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 0,8 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 89 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 0,6 pro Antwort. Auf die Antwortlänge bezogen: 0,93 pro 1000 Ausgabe-Tokens, am niedrigsten GPT-5 mit 0,71.
| # | Modell | top100 | 95 % CI | Δ Vorlauf | widerspricht Soll-Fakt | zusätzl. falsch/unbelegt | Ø gesamt | Antworten betroffen | pro 1000 Tok. | IRR |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 4.7 | 87 | 79–94 | +6 | 0,2 | 0,8 | 1,0 | 89 % | 0,93 | 88 % |
| 2 | GPT-5 | 83 | 77–89 | -2 | 0,2 | 0,8 | 1,0 | 100 % | 0,71 | 85 % |
| 3 | Mistral Large 2 | 65 | 58–71 | -3 | 0,3 | 1,0 | 1,3 | 100 % | 2,23 | 70 % |
| 4 | Grok 4.3 | 59 | 49–69 | +7 | 0,3 | 0,4 | 0,7 | 44 % | 2,94 | 73 % |
| 5 | Gemini 2.5 Pro | 52 | 41–62 | 0 | 0,3 | 0,4 | 0,6 | 67 % | 2,72 | 68 % |
Jura · 8 Items
Platz 1–2 statistisch gleichauf (95-%-CI überlappt mit Platz 1)
Im Bereich Jura widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,0 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 1,0 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 0,2 pro Antwort. Auf die Antwortlänge bezogen: 1,14 pro 1000 Ausgabe-Tokens, am niedrigsten GPT-5 mit 0,47.
| # | Modell | top100 | 95 % CI | Δ Vorlauf | widerspricht Soll-Fakt | zusätzl. falsch/unbelegt | Ø gesamt | Antworten betroffen | pro 1000 Tok. | IRR |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 4.7 | 79 | 68–88 | -6 | 0,0 | 1,0 | 1,0 | 100 % | 1,14 | 76 % |
| 2 | GPT-5 | 74 | 63–84 | +6 | 0,1 | 0,7 | 0,8 | 63 % | 0,47 | 77 % |
| 3 | Gemini 2.5 Pro | 54 | 44–63 | +1 | 0,1 | 0,1 | 0,2 | 25 % | 0,99 | 75 % |
| 4 | Grok 4.3 | 50 | 42–57 | +2 | 0,3 | 0,3 | 0,4 | 63 % | 2,80 | 65 % |
| 5 | Mistral Large 2 | 47 | 38–58 | -2 | 1,0 | 0,6 | 1,5 | 88 % | 4,94 | 63 % |
Wirtschaftsrecht · 8 Items
Platz 1–2 statistisch gleichauf (95-%-CI überlappt mit Platz 1)
Im Bereich Wirtschaftsrecht widerspricht GPT-5 (Score-Spitze) im Mittel in 0,5 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 1,5 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 1,7 pro Antwort. Auf die Antwortlänge bezogen: 0,70 pro 1000 Ausgabe-Tokens.
| # | Modell | top100 | 95 % CI | Δ Vorlauf | widerspricht Soll-Fakt | zusätzl. falsch/unbelegt | Ø gesamt | Antworten betroffen | pro 1000 Tok. | IRR |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | GPT-5 | 78 | 72–85 | -1 | 0,5 | 1,5 | 2,0 | 100 % | 0,70 | 71 % |
| 2 | Claude Opus 4.7 | 74 | 63–84 | -3 | 0,5 | 2,5 | 3,0 | 100 % | 1,59 | 64 % |
| 3 | Mistral Large 2 | 51 | 40–63 | +8 | 1,6 | 1,7 | 3,2 | 100 % | 3,82 | 54 % |
| 4 | Grok 4.3 | 41 | 24–58 | -3 | 1,3 | 0,8 | 2,0 | 100 % | 4,71 | 55 % |
| 5 | Gemini 2.5 Pro | 40 | 29–51 | -10 | 1,3 | 0,5 | 1,7 | 100 % | 4,70 | 51 % |
Roh-Daten dieses Laufs
raw.jsonl und progress.jsonl sind die öffentlichen, um Antworttexte bereinigten Streams (Kontaminationsschutz, Methodik §7).