Jura: Claude Fable 5.1 führt mit 91/100
14 Modelle auf 35 realen Jura-Fällen, bewertet von 4 unabhängigen Judge-Modellen gegen hinterlegte Soll-Fakten. Lauf vom 10. Sep 2026. Der Strich im Konfidenzintervall entscheidet, ob eine Reihenfolge belastbar ist.
Platz 1–2 statistisch gleichauf (95-%-CI überlappt mit Platz 1)
Im Bereich Jura widerspricht Claude Fable 5.1 (Score-Spitze) im Mittel in 0,0 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 1,7 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Grok 4.5 mit Ø 0,6 pro Antwort. Auf die Antwortlänge bezogen: 0,60 pro 1000 Ausgabe-Tokens, am niedrigsten DeepSeek V4 Pro mit 0,11.
| # | Modell | top100 | 95 % CI | Δ Vorlauf | widerspricht Soll-Fakt | zusätzl. falsch/unbelegt | pro 1000 Tok. |
|---|---|---|---|---|---|---|---|
| 1 | Claude Fable 5.1 | 91 | 88–93 | +4 | 0,0 | 1,7 | 0,60 |
| 2 | Claude Opus 5 | 91 | 88–94 | +1 | 0,1 | 1,9 | 0,60 |
| 3 | Kimi K3 n=34 | 81 | 76–86 | +3 | 0,2 | 1,7 | 0,40 |
| 4 | Claude Opus 4.8 | 80 | 76–84 | -1 | 0,0 | 0,7 | 0,80 |
| 5 | Claude Opus 4.7 | 79 | 73–85 | -2 | 0,2 | 1,1 | 1,48 |
| 6 | GPT-5 | 77 | 70–83 | +2 | 0,2 | 1,0 | 0,28 |
| 7 | GPT-5.6 Sol | 77 | 72–82 | +2 | 0,1 | 0,8 | 0,55 |
| 8 | GPT-6 Astra | 73 | 67–79 | +2 | 0,3 | 1,0 | 1,23 |
| 9 | GLM-5.3 n=32 | 70 | 60–79 | -9 | 0,7 | 2,0 | 0,32 |
| 10 | Grok 4.5 | 65 | 59–70 | -3 | 0,2 | 0,4 | 2,84 |
| 11 | Grok 4.6 | 64 | 56–71 | +1 | 0,3 | 0,4 | 3,36 |
| 12 | DeepSeek V4 Pro | 61 | 54–68 | +2 | 0,3 | 0,4 | 0,11 |
| 13 | Gemini 3.1 Pro | 59 | 52–64 | -4 | 0,2 | 0,3 | 3,12 |
| 14 | Mistral Large 2 | 43 | 35–51 | -2 | 1,0 | 1,1 | 7,15 |
Alle Werte pro Antwort. „widerspricht Soll-Fakt" = aktiver Widerspruch zu einem hinterlegten Fakt (nachweislich falsch); „zusätzl. falsch/unbelegt" = vom Judge-Panel markierte Behauptungen außerhalb der Rubrik (Vereinigung über die Judges; unbelegt zählt mit). Definition: Methodik. Vollständiger Lauf: run-20260910T064154-bada0b.
← Alle vier Domänen auf der Startseite · Alle Läufe · Feed (Atom)