Ranking-Lauf 18.05.2026
Claude Opus 4.7 führt mit 79/100 über alle Domänen. Steuerrecht: Claude Opus 4.7 (73) · Medizin: Claude Opus 4.7 (87) · Jura: Claude Opus 4.7 (83) · Wirtschaftsrecht: GPT-5 (77).
Gesamt über alle Domänen
| # | Modell | top100 | 95 % CI | Δ Vorlauf | Ausfälle | Sek. Median/p90 | Hallu-Band | pro 1000 Tok. | Δ eigene Familie |
|---|---|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 4.7 | 0 | 21 / 33 | 79 | 76–82 | 0 | 58 | 1,46 | — |
| 2 | GPT-5 | 0 | 31 / 53 | 75 | 72–79 | 0 | 69 | 0,62 | — |
| 3 | Gemini 2.5 Pro | 0 | 19 / 24 | 54 | 50–57 | +1 | 81 | 3,32 | — |
| 4 | Mistral Large 2 | 0 | 13 / 75 | 49 | 45–54 | -2 | 50 | 4,15 | — |
| 5 | Grok 4.3 | 0 | 11 / 16 | 46 | 42–50 | 0 | 71 | 5,08 | — |
Δ Vorlauf = Differenz zum vorherigen publizierten Lauf; „—" = Modell war dort nicht dabei. Hallu-Band: 100 = keine, 0 = ≥ 4 Falschbehauptungen pro Antwort. Pro 1000 Tok. = markierte Behauptungen je 1000 Ausgabe-Tokens (längen-normiert). Δ eigene Familie = Score mit allen Judges minus Score nur mit anbieterfremden Judges, in Punkten; positiv = die eigene Familie bewertet großzügiger; „—" = vor code_version 0.2.8 nicht erfasst oder kein fremder Judge (Methodik §4, §6.5).
Steuerrecht · 15 Items
Platz 1–2 statistisch gleichauf (95-%-CI überlappt mit Platz 1)
Im Bereich Steuerrecht widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,4 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 1,8 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 1,3 pro Antwort. Auf die Antwortlänge bezogen: 1,71 pro 1000 Ausgabe-Tokens, am niedrigsten GPT-5 mit 0,70.
| # | Modell | top100 | 95 % CI | Δ Vorlauf | widerspricht Soll-Fakt | zusätzl. falsch/unbelegt | Ø gesamt | Antworten betroffen | pro 1000 Tok. | IRR |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 4.7 | 73 | 68–78 | -3 | 0,4 | 1,8 | 2,2 | 100 % | 1,71 | 78 % |
| 2 | GPT-5 | 60 | 51–69 | +1 | 1,0 | 0,8 | 1,8 | 100 % | 0,70 | 66 % |
| 3 | Gemini 2.5 Pro | 40 | 32–50 | +6 | 1,1 | 0,4 | 1,3 | 87 % | 5,91 | 59 % |
| 4 | Mistral Large 2 | 24 | 15–31 | -5 | 2,1 | 1,5 | 3,6 | 100 % | 7,54 | 53 % |
| 5 | Grok 4.3 | 22 | 14–31 | -4 | 1,6 | 0,9 | 2,5 | 87 % | 10,43 | 59 % |
Medizin · 20 Items
Platz 1–2 statistisch gleichauf (95-%-CI überlappt mit Platz 1)
Im Bereich Medizin widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,4 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 1,0 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 90 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 0,4 pro Antwort. Auf die Antwortlänge bezogen: 1,21 pro 1000 Ausgabe-Tokens, am niedrigsten GPT-5 mit 0,90.
| # | Modell | top100 | 95 % CI | Δ Vorlauf | widerspricht Soll-Fakt | zusätzl. falsch/unbelegt | Ø gesamt | Antworten betroffen | pro 1000 Tok. | IRR |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 4.7 | 87 | 81–92 | +3 | 0,4 | 1,0 | 1,3 | 90 % | 1,21 | 83 % |
| 2 | GPT-5 | 82 | 73–88 | +1 | 0,4 | 0,8 | 1,2 | 95 % | 0,90 | 80 % |
| 3 | Mistral Large 2 | 64 | 56–71 | 0 | 0,4 | 0,9 | 1,2 | 90 % | 2,33 | 67 % |
| 4 | Gemini 2.5 Pro | 56 | 48–64 | 0 | 0,2 | 0,3 | 0,4 | 45 % | 2,01 | 76 % |
| 5 | Grok 4.3 | 51 | 43–58 | -1 | 0,4 | 0,4 | 0,7 | 75 % | 3,12 | 73 % |
Jura · 35 Items
Platz 1–2 statistisch gleichauf (95-%-CI überlappt mit Platz 1)
Im Bereich Jura widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,2 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 0,8 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 86 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 0,3 pro Antwort. Auf die Antwortlänge bezogen: 1,13 pro 1000 Ausgabe-Tokens, am niedrigsten GPT-5 mit 0,46.
| # | Modell | top100 | 95 % CI | Δ Vorlauf | widerspricht Soll-Fakt | zusätzl. falsch/unbelegt | Ø gesamt | Antworten betroffen | pro 1000 Tok. | IRR |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 4.7 | 83 | 79–87 | +3 | 0,2 | 0,8 | 1,0 | 86 % | 1,13 | 83 % |
| 2 | GPT-5 | 76 | 72–81 | 0 | 0,1 | 0,6 | 0,8 | 86 % | 0,46 | 72 % |
| 3 | Gemini 2.5 Pro | 63 | 57–67 | +1 | 0,2 | 0,2 | 0,3 | 43 % | 1,64 | 72 % |
| 4 | Grok 4.3 | 54 | 49–58 | +5 | 0,4 | 0,3 | 0,6 | 63 % | 4,26 | 68 % |
| 5 | Mistral Large 2 | 50 | 43–57 | +3 | 0,9 | 0,6 | 1,4 | 77 % | 4,62 | 68 % |
Wirtschaftsrecht · 30 Items
Platz 1–2 statistisch gleichauf (95-%-CI überlappt mit Platz 1)
Im Bereich Wirtschaftsrecht widerspricht GPT-5 (Score-Spitze) im Mittel in 0,5 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 0,9 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 1,2 pro Antwort. Auf die Antwortlänge bezogen: 0,60 pro 1000 Ausgabe-Tokens.
| # | Modell | top100 | 95 % CI | Δ Vorlauf | widerspricht Soll-Fakt | zusätzl. falsch/unbelegt | Ø gesamt | Antworten betroffen | pro 1000 Tok. | IRR |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | GPT-5 | 77 | 70–84 | -1 | 0,5 | 0,9 | 1,4 | 100 % | 0,60 | 74 % |
| 2 | Claude Opus 4.7 | 73 | 67–79 | -2 | 0,4 | 2,0 | 2,4 | 100 % | 1,71 | 75 % |
| 3 | Mistral Large 2 | 52 | 45–59 | -5 | 0,8 | 1,5 | 2,3 | 93 % | 3,62 | 60 % |
| 4 | Gemini 2.5 Pro | 48 | 42–55 | -4 | 0,7 | 0,5 | 1,2 | 77 % | 4,30 | 59 % |
| 5 | Grok 4.3 | 45 | 38–51 | -2 | 0,6 | 0,7 | 1,3 | 90 % | 4,35 | 53 % |
Roh-Daten dieses Laufs
raw.jsonl und progress.jsonl sind die öffentlichen, um Antworttexte bereinigten Streams (Kontaminationsschutz, Methodik §7).