Ranking-Lauf · 10.05.2026

Ranking-Lauf 10.05.2026

Claude Opus 4.7 führt mit 77/100 über alle Domänen. Steuerrecht: Claude Opus 4.7 (66) · Medizin: Claude Opus 4.7 (86) · Jura: Claude Opus 4.7 (78) · Wirtschaftsrecht: Claude Opus 4.7 (78).

Status: Entwicklungslauf — nicht im Feed, nicht auf der Startseite (Roster-Test / Zwischenlauf)
Lauf: run-20260510T121001-e3a863
Gestartet: 2026-05-10 12:10 UTC
Items: 33 (Steuerrecht 8, Medizin 9, Jura 8, Wirtschaftsrecht 8)
Modelle: 4
Judges: GPT-5, Claude Opus 4.7, Mistral Large 2
Frage-Bank: 2026-05-08-pilot
Code-Version: 0.1.0
Pipeline-Kosten: 17.13 USD
Judge-Übereinstimmung: 75 %

Gesamt über alle Domänen

#	Modell	top100	95 % CI	Δ Vorlauf	Ausfälle	Sek. Median/p90	Hallu-Band	pro 1000 Tok.	Δ eigene Familie
1	GPT-5 n=16/33	17	17 / 24	78	72–84	—	77	0,65	—
2	Claude Opus 4.7	0	20 / 34	77	72–82	—	49	1,61	—
3	Mistral Large 2	0	15 / 79	46	36–55	—	41	4,40	—
4	Gemini 2.5 Pro n=9/33	24	16 / 33	32	19–47	—	98	0,73	—

Δ Vorlauf = Differenz zum vorherigen publizierten Lauf; „—" = Modell war dort nicht dabei. Hallu-Band: 100 = keine, 0 = ≥ 4 Falschbehauptungen pro Antwort. Pro 1000 Tok. = markierte Behauptungen je 1000 Ausgabe-Tokens (längen-normiert). Δ eigene Familie = Score mit allen Judges minus Score nur mit anbieterfremden Judges, in Punkten; positiv = die eigene Familie bewertet großzügiger; „—" = vor code_version 0.2.8 nicht erfasst oder kein fremder Judge (Methodik §4, §6.5).

Steuerrecht · 8 Items

Im Bereich Steuerrecht widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 1,4 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 1,5 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 0,0 pro Antwort. Auf die Antwortlänge bezogen: 2,16 pro 1000 Ausgabe-Tokens, am niedrigsten Gemini 2.5 Pro mit 0,00.

#	Modell	top100	95 % CI	Δ Vorlauf	widerspricht Soll-Fakt	zusätzl. falsch/unbelegt	Ø gesamt	Antworten betroffen	pro 1000 Tok.	IRR
1	Claude Opus 4.7	66	59–73	—	1,4	1,5	2,9	100 %	2,16	77 %
2	Mistral Large 2	9	3–15	—	2,5	1,7	4,2	100 %	8,43	64 %
3	Gemini 2.5 Pro	0	0–0	—	0,0	0,0	0,0	0 %	0,00	100 %

Medizin · 9 Items

Platz 1–2 statistisch gleichauf (95-%-CI überlappt mit Platz 1)

Im Bereich Medizin widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,3 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 1,0 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 0,2 pro Antwort. Auf die Antwortlänge bezogen: 1,43 pro 1000 Ausgabe-Tokens, am niedrigsten GPT-5 mit 0,86.

#	Modell	top100	95 % CI	Δ Vorlauf	widerspricht Soll-Fakt	zusätzl. falsch/unbelegt	Ø gesamt	Antworten betroffen	pro 1000 Tok.	IRR
1	Claude Opus 4.7	86	78–93	—	0,3	1,0	1,4	100 %	1,43	90 %
2	GPT-5	84	78–90	—	0,4	0,7	1,1	89 %	0,86	79 %
3	Mistral Large 2	68	58–77	—	0,2	1,0	1,2	89 %	2,00	71 %
4	Gemini 2.5 Pro	43	27–58	—	0,0	0,2	0,2	50 %	1,28	78 %

Jura · 8 Items

Platz 1–2 statistisch gleichauf (95-%-CI überlappt mit Platz 1)

Im Bereich Jura widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,3 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 0,8 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 88 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 0,0 pro Antwort. Auf die Antwortlänge bezogen: 1,29 pro 1000 Ausgabe-Tokens, am niedrigsten Gemini 2.5 Pro mit 0,00.

#	Modell	top100	95 % CI	Δ Vorlauf	widerspricht Soll-Fakt	zusätzl. falsch/unbelegt	Ø gesamt	Antworten betroffen	pro 1000 Tok.	IRR
1	Claude Opus 4.7	78	70–85	—	0,3	0,8	1,1	88 %	1,29	79 %
2	GPT-5	70	63–78	—	0,1	0,5	0,6	86 %	0,42	61 %
3	Mistral Large 2	53	49–58	—	0,5	0,8	1,3	88 %	3,98	58 %
4	Gemini 2.5 Pro	38	11–59	—	0,0	0,0	0,0	0 %	0,00	79 %

Wirtschaftsrecht · 8 Items

Im Bereich Wirtschaftsrecht widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,5 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 2,3 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 0,0 pro Antwort. Auf die Antwortlänge bezogen: 1,46 pro 1000 Ausgabe-Tokens, am niedrigsten Gemini 2.5 Pro mit 0,00.

#	Modell	top100	95 % CI	Δ Vorlauf	widerspricht Soll-Fakt	zusätzl. falsch/unbelegt	Ø gesamt	Antworten betroffen	pro 1000 Tok.	IRR
1	Claude Opus 4.7	78	68–88	—	0,5	2,3	2,8	100 %	1,46	70 %
2	Mistral Large 2	50	34–65	—	1,3	1,6	2,9	100 %	4,03	56 %
3	Gemini 2.5 Pro	7	7–7	—	0,0	0,0	0,0	0 %	0,00	90 %

Roh-Daten dieses Laufs

raw.jsonl und progress.jsonl sind die öffentlichen, um Antworttexte bereinigten Streams (Kontaminationsschutz, Methodik §7).