Ranking-Lauf 12.05.2026
Claude Opus 4.7 führt mit 78/100 über alle Domänen. Steuerrecht: Claude Opus 4.7 (67) · Medizin: Claude Opus 4.7 (82) · Jura: Claude Opus 4.7 (85) · Wirtschaftsrecht: GPT-5 (84).
Gesamt über alle Domänen
| # | Modell | top100 | 95 % CI | Δ Vorlauf | Ausfälle | Sek. Median/p90 | Hallu-Band | pro 1000 Tok. | Δ eigene Familie |
|---|---|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 4.7 | 0 | 17 / 25 | 78 | 73–82 | +1 | 49 | 1,59 | — |
| 2 | GPT-5 | 0 | 31 / 50 | 72 | 65–79 | -1 | 64 | 0,66 | — |
| 3 | Gemini 2.5 Pro | 0 | 23 / 27 | 49 | 42–55 | +1 | 73 | 4,18 | — |
| 3 | Mistral Large 2 | 0 | 17 / 366 | 49 | 41–57 | +1 | 42 | 3,91 | — |
Δ Vorlauf = Differenz zum vorherigen publizierten Lauf; „—" = Modell war dort nicht dabei. Hallu-Band: 100 = keine, 0 = ≥ 4 Falschbehauptungen pro Antwort. Pro 1000 Tok. = markierte Behauptungen je 1000 Ausgabe-Tokens (längen-normiert). Δ eigene Familie = Score mit allen Judges minus Score nur mit anbieterfremden Judges, in Punkten; positiv = die eigene Familie bewertet großzügiger; „—" = vor code_version 0.2.8 nicht erfasst oder kein fremder Judge (Methodik §4, §6.5).
Steuerrecht · 8 Items
Platz 1–2 statistisch gleichauf (95-%-CI überlappt mit Platz 1)
Im Bereich Steuerrecht widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,8 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 2,0 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 2,0 pro Antwort. Auf die Antwortlänge bezogen: 2,01 pro 1000 Ausgabe-Tokens, am niedrigsten GPT-5 mit 0,91.
| # | Modell | top100 | 95 % CI | Δ Vorlauf | widerspricht Soll-Fakt | zusätzl. falsch/unbelegt | Ø gesamt | Antworten betroffen | pro 1000 Tok. | IRR |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 4.7 | 67 | 57–75 | -4 | 0,8 | 2,0 | 2,8 | 100 % | 2,01 | 83 % |
| 2 | GPT-5 | 50 | 35–63 | -13 | 1,3 | 1,3 | 2,5 | 100 % | 0,91 | 65 % |
| 3 | Gemini 2.5 Pro | 31 | 18–46 | -1 | 1,3 | 0,7 | 2,0 | 88 % | 8,81 | 71 % |
| 4 | Mistral Large 2 | 17 | 9–25 | +5 | 2,4 | 1,5 | 3,9 | 100 % | 8,75 | 54 % |
Medizin · 9 Items
Platz 1–3 statistisch gleichauf (95-%-CI überlappt mit Platz 1)
Im Bereich Medizin widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,7 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 0,9 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 0,5 pro Antwort. Auf die Antwortlänge bezogen: 1,55 pro 1000 Ausgabe-Tokens, am niedrigsten GPT-5 mit 0,76.
| # | Modell | top100 | 95 % CI | Δ Vorlauf | widerspricht Soll-Fakt | zusätzl. falsch/unbelegt | Ø gesamt | Antworten betroffen | pro 1000 Tok. | IRR |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 4.7 | 82 | 73–88 | -3 | 0,7 | 0,9 | 1,6 | 100 % | 1,55 | 82 % |
| 2 | GPT-5 | 82 | 75–89 | -3 | 0,3 | 0,7 | 1,0 | 100 % | 0,76 | 76 % |
| 3 | Mistral Large 2 | 67 | 59–74 | -3 | 0,4 | 0,9 | 1,3 | 100 % | 2,00 | 75 % |
| 4 | Gemini 2.5 Pro | 57 | 45–68 | +3 | 0,2 | 0,3 | 0,5 | 67 % | 2,04 | 63 % |
Jura · 8 Items
Im Bereich Jura widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,0 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 0,8 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 75 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 0,1 pro Antwort. Auf die Antwortlänge bezogen: 0,98 pro 1000 Ausgabe-Tokens, am niedrigsten GPT-5 mit 0,35.
| # | Modell | top100 | 95 % CI | Δ Vorlauf | widerspricht Soll-Fakt | zusätzl. falsch/unbelegt | Ø gesamt | Antworten betroffen | pro 1000 Tok. | IRR |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 4.7 | 85 | 81–90 | +5 | 0,0 | 0,8 | 0,8 | 75 % | 0,98 | 89 % |
| 2 | GPT-5 | 72 | 63–81 | +8 | 0,1 | 0,5 | 0,6 | 75 % | 0,35 | 72 % |
| 3 | Gemini 2.5 Pro | 60 | 53–68 | +9 | 0,1 | 0,0 | 0,1 | 25 % | 0,38 | 72 % |
| 4 | Mistral Large 2 | 56 | 50–62 | 0 | 0,3 | 0,5 | 0,7 | 75 % | 2,09 | 59 % |
Wirtschaftsrecht · 8 Items
Platz 1–2 statistisch gleichauf (95-%-CI überlappt mit Platz 1)
Im Bereich Wirtschaftsrecht widerspricht GPT-5 (Score-Spitze) im Mittel in 0,4 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 1,3 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Auf die Antwortlänge bezogen: 0,57 pro 1000 Ausgabe-Tokens.
| # | Modell | top100 | 95 % CI | Δ Vorlauf | widerspricht Soll-Fakt | zusätzl. falsch/unbelegt | Ø gesamt | Antworten betroffen | pro 1000 Tok. | IRR |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | GPT-5 | 84 | 79–90 | +7 | 0,4 | 1,3 | 1,6 | 100 % | 0,57 | 81 % |
| 2 | Claude Opus 4.7 | 77 | 71–84 | +6 | 0,6 | 2,3 | 2,9 | 100 % | 1,59 | 76 % |
| 3 | Mistral Large 2 | 53 | 38–64 | +4 | 1,4 | 2,1 | 3,5 | 100 % | 3,80 | 56 % |
| 4 | Gemini 2.5 Pro | 45 | 32–58 | -8 | 1,4 | 0,5 | 1,8 | 100 % | 5,23 | 60 % |
Roh-Daten dieses Laufs
raw.jsonl und progress.jsonl sind die öffentlichen, um Antworttexte bereinigten Streams (Kontaminationsschutz, Methodik §7).