Ranking-Lauf 12.05.2026
Claude Opus 4.7 führt mit 77/100 über alle Domänen. Steuerrecht: Claude Opus 4.7 (68) · Medizin: GPT-5 (86) · Jura: Claude Opus 4.7 (78) · Wirtschaftsrecht: Claude Opus 4.7 (75).
Gesamt über alle Domänen
| # | Modell | top100 | 95 % CI | Δ Vorlauf | Ausfälle | Sek. Median/p90 | Hallu-Band | pro 1000 Tok. | Δ eigene Familie |
|---|---|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 4.7 | 0 | 17 / 26 | 77 | 71–81 | -1 | 54 | 1,45 | — |
| 2 | GPT-5 | 0 | 46 / 71 | 69 | 63–76 | -3 | 63 | 0,67 | — |
| 3 | Gemini 2.5 Pro | 0 | 22 / 28 | 47 | 40–54 | -2 | 72 | 4,20 | — |
| 3 | Mistral Large 2 | 0 | 16 / 372 | 47 | 40–55 | -2 | 45 | 3,99 | — |
Δ Vorlauf = Differenz zum vorherigen publizierten Lauf; „—" = Modell war dort nicht dabei. Hallu-Band: 100 = keine, 0 = ≥ 4 Falschbehauptungen pro Antwort. Pro 1000 Tok. = markierte Behauptungen je 1000 Ausgabe-Tokens (längen-normiert). Δ eigene Familie = Score mit allen Judges minus Score nur mit anbieterfremden Judges, in Punkten; positiv = die eigene Familie bewertet großzügiger; „—" = vor code_version 0.2.8 nicht erfasst oder kein fremder Judge (Methodik §4, §6.5).
Steuerrecht · 8 Items
Platz 1–2 statistisch gleichauf (95-%-CI überlappt mit Platz 1)
Im Bereich Steuerrecht widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,6 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 2,0 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat GPT-5 mit Ø 2,1 pro Antwort. Auf die Antwortlänge bezogen: 1,95 pro 1000 Ausgabe-Tokens, am niedrigsten GPT-5 mit 0,75.
| # | Modell | top100 | 95 % CI | Δ Vorlauf | widerspricht Soll-Fakt | zusätzl. falsch/unbelegt | Ø gesamt | Antworten betroffen | pro 1000 Tok. | IRR |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 4.7 | 68 | 60–76 | +1 | 0,6 | 2,0 | 2,6 | 100 % | 1,95 | 80 % |
| 2 | GPT-5 | 56 | 45–67 | +6 | 1,0 | 1,1 | 2,1 | 100 % | 0,75 | 73 % |
| 3 | Gemini 2.5 Pro | 25 | 14–35 | -6 | 1,5 | 0,7 | 2,2 | 100 % | 9,92 | 64 % |
| 4 | Mistral Large 2 | 17 | 10–25 | 0 | 2,0 | 1,3 | 3,3 | 100 % | 7,15 | 61 % |
Medizin · 9 Items
Platz 1–2 statistisch gleichauf (95-%-CI überlappt mit Platz 1)
Im Bereich Medizin widerspricht GPT-5 (Score-Spitze) im Mittel in 0,3 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 0,6 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 0,3 pro Antwort. Auf die Antwortlänge bezogen: 0,67 pro 1000 Ausgabe-Tokens.
| # | Modell | top100 | 95 % CI | Δ Vorlauf | widerspricht Soll-Fakt | zusätzl. falsch/unbelegt | Ø gesamt | Antworten betroffen | pro 1000 Tok. | IRR |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | GPT-5 | 86 | 81–91 | +4 | 0,3 | 0,6 | 0,9 | 100 % | 0,67 | 80 % |
| 2 | Claude Opus 4.7 | 85 | 80–90 | +3 | 0,2 | 0,6 | 0,8 | 89 % | 0,79 | 79 % |
| 3 | Mistral Large 2 | 69 | 64–75 | +2 | 0,6 | 0,6 | 1,1 | 89 % | 1,98 | 67 % |
| 4 | Gemini 2.5 Pro | 56 | 46–66 | -1 | 0,1 | 0,1 | 0,3 | 33 % | 1,14 | 71 % |
Jura · 8 Items
Platz 1–2 statistisch gleichauf (95-%-CI überlappt mit Platz 1)
Im Bereich Jura widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,1 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 0,7 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 75 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 0,4 pro Antwort. Auf die Antwortlänge bezogen: 1,01 pro 1000 Ausgabe-Tokens, am niedrigsten GPT-5 mit 0,80.
| # | Modell | top100 | 95 % CI | Δ Vorlauf | widerspricht Soll-Fakt | zusätzl. falsch/unbelegt | Ø gesamt | Antworten betroffen | pro 1000 Tok. | IRR |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 4.7 | 78 | 68–86 | -7 | 0,1 | 0,7 | 0,8 | 75 % | 1,01 | 74 % |
| 2 | GPT-5 | 60 | 47–69 | -12 | 0,6 | 0,8 | 1,5 | 88 % | 0,80 | 68 % |
| 3 | Gemini 2.5 Pro | 55 | 45–65 | -5 | 0,5 | 0,1 | 0,4 | 50 % | 1,81 | 70 % |
| 4 | Mistral Large 2 | 48 | 44–52 | -8 | 0,5 | 0,8 | 1,3 | 88 % | 3,75 | 58 % |
Wirtschaftsrecht · 8 Items
Platz 1–2 statistisch gleichauf (95-%-CI überlappt mit Platz 1)
Im Bereich Wirtschaftsrecht widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,8 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 2,4 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat GPT-5 mit Ø 1,4 pro Antwort. Auf die Antwortlänge bezogen: 1,71 pro 1000 Ausgabe-Tokens, am niedrigsten GPT-5 mit 0,49.
| # | Modell | top100 | 95 % CI | Δ Vorlauf | widerspricht Soll-Fakt | zusätzl. falsch/unbelegt | Ø gesamt | Antworten betroffen | pro 1000 Tok. | IRR |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 4.7 | 75 | 65–86 | -2 | 0,8 | 2,4 | 3,2 | 100 % | 1,71 | 79 % |
| 2 | GPT-5 | 75 | 64–85 | -9 | 0,5 | 0,9 | 1,4 | 100 % | 0,49 | 64 % |
| 3 | Mistral Large 2 | 52 | 39–63 | -1 | 1,1 | 2,0 | 3,2 | 100 % | 3,93 | 50 % |
| 4 | Gemini 2.5 Pro | 50 | 40–58 | +5 | 1,1 | 0,7 | 1,6 | 100 % | 4,29 | 57 % |
Roh-Daten dieses Laufs
raw.jsonl und progress.jsonl sind die öffentlichen, um Antworttexte bereinigten Streams (Kontaminationsschutz, Methodik §7).