Ranking-Lauf · 07.06.2026

Ranking-Lauf 07.06.2026

Claude Opus 4.7 führt mit 81/100 über alle Domänen. Steuerrecht: Claude Opus 4.7 (77) · Medizin: Claude Opus 4.7 (86) · Jura: Claude Opus 4.7 (84) · Wirtschaftsrecht: GPT-5 (83).

Status: Entwicklungslauf — nicht im Feed, nicht auf der Startseite (Roster-Test / Zwischenlauf)
Lauf: run-20260607T181746-23cbb6
Gestartet: 2026-06-07 18:17 UTC
Items: 100 (Steuerrecht 15, Medizin 20, Jura 35, Wirtschaftsrecht 30)
Modelle: 6
Judges: GPT-5, Claude Opus 4.8, Claude Opus 4.7, Mistral Large 2
Frage-Bank: 2026-05-17-v1
Code-Version: 0.2.3
Pipeline-Kosten: 72.24 USD
Judge-Übereinstimmung: 68 %

Gesamt über alle Domänen

#	Modell	95 % CI	Δ Vorlauf	Ausfälle	Sek. Median/p90	Hallu-Band	pro 1000 Tok.	Δ eigene Familie
1	Claude Opus 4.7	19 / 30	81	78–83	+2	59	1,48	—
2	GPT-5	53 / 146	77	74–81	+2	72	0,57	—
3	Claude Opus 4.8	18 / 26	74	71–77	—	72	0,93	—
4	Gemini 2.5 Pro	18 / 24	54	50–57	+2	79	3,46	—
5	Mistral Large 2	10 / 68	50	46–55	0	49	4,32	—
6	Grok 4.3	4 / 6	47	43–50	0	73	5,50	—

Δ Vorlauf = Differenz zum vorherigen publizierten Lauf; „—" = Modell war dort nicht dabei. Hallu-Band: 100 = keine, 0 = ≥ 4 Falschbehauptungen pro Antwort. Pro 1000 Tok. = markierte Behauptungen je 1000 Ausgabe-Tokens (längen-normiert). Δ eigene Familie = Score mit allen Judges minus Score nur mit anbieterfremden Judges, in Punkten; positiv = die eigene Familie bewertet großzügiger; „—" = vor code_version 0.2.8 nicht erfasst oder kein fremder Judge (Methodik §4, §6.5).

Steuerrecht · 15 Items

Platz 1–3 statistisch gleichauf (95-%-CI überlappt mit Platz 1)

Im Bereich Steuerrecht widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,4 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 2,3 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Claude Opus 4.8 mit Ø 1,4 pro Antwort. Auf die Antwortlänge bezogen: 2,10 pro 1000 Ausgabe-Tokens, am niedrigsten GPT-5 mit 0,71.

#	Modell	top100	95 % CI	Δ Vorlauf	widerspricht Soll-Fakt	zusätzl. falsch/unbelegt	Ø gesamt	Antworten betroffen	pro 1000 Tok.	IRR
1	Claude Opus 4.7	77	71–82	+1	0,4	2,3	2,7	100 %	2,10	78 %
2	Claude Opus 4.8	69	63–76	—	0,6	0,9	1,4	93 %	1,04	73 %
3	GPT-5	67	58–75	+6	0,9	1,0	1,9	100 %	0,71	70 %
4	Gemini 2.5 Pro	35	26–44	+2	1,3	0,5	1,7	80 %	7,60	62 %
5	Grok 4.3	26	19–33	-7	1,5	0,7	2,1	100 %	9,44	54 %
6	Mistral Large 2	25	17–32	-1	2,1	1,0	3,0	100 %	6,34	49 %

Medizin · 20 Items

Platz 1–3 statistisch gleichauf (95-%-CI überlappt mit Platz 1)

Im Bereich Medizin widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,4 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 0,8 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 95 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 0,6 pro Antwort. Auf die Antwortlänge bezogen: 1,17 pro 1000 Ausgabe-Tokens, am niedrigsten Claude Opus 4.8 mit 0,57.

#	Modell	top100	95 % CI	Δ Vorlauf	widerspricht Soll-Fakt	zusätzl. falsch/unbelegt	Ø gesamt	Antworten betroffen	pro 1000 Tok.	IRR
1	Claude Opus 4.7	86	80–91	-1	0,4	0,8	1,1	95 %	1,17	80 %
2	GPT-5	82	75–88	+3	0,4	0,5	0,9	100 %	0,66	75 %
3	Claude Opus 4.8	80	74–87	—	0,3	0,4	0,6	85 %	0,57	75 %
4	Mistral Large 2	66	59–72	0	0,5	0,7	1,1	90 %	2,21	72 %
5	Gemini 2.5 Pro	57	49–64	+1	0,3	0,4	0,6	65 %	2,72	71 %
6	Grok 4.3	53	46–61	-2	0,5	0,2	0,7	75 %	3,49	70 %

Jura · 35 Items

Platz 1–2 statistisch gleichauf (95-%-CI überlappt mit Platz 1)

Im Bereich Jura widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,3 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 0,7 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 86 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 0,3 pro Antwort. Auf die Antwortlänge bezogen: 1,10 pro 1000 Ausgabe-Tokens, am niedrigsten GPT-5 mit 0,53.

#	Modell	top100	95 % CI	Δ Vorlauf	widerspricht Soll-Fakt	zusätzl. falsch/unbelegt	Ø gesamt	Antworten betroffen	pro 1000 Tok.	IRR
1	Claude Opus 4.7	84	80–87	+2	0,3	0,7	0,9	86 %	1,10	80 %
2	Claude Opus 4.8	79	72–84	—	0,3	0,5	0,8	63 %	0,85	76 %
3	GPT-5	74	68–80	0	0,3	0,6	0,9	80 %	0,53	75 %
4	Gemini 2.5 Pro	62	58–67	+1	0,2	0,2	0,3	40 %	1,36	69 %
5	Grok 4.3	48	42–54	0	0,6	0,2	0,8	63 %	6,09	66 %
6	Mistral Large 2	47	39–54	-1	1,2	0,8	2,0	83 %	6,71	64 %

Wirtschaftsrecht · 30 Items

Platz 1–2 statistisch gleichauf (95-%-CI überlappt mit Platz 1)

Im Bereich Wirtschaftsrecht widerspricht GPT-5 (Score-Spitze) im Mittel in 0,2 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 0,9 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Auf die Antwortlänge bezogen: 0,49 pro 1000 Ausgabe-Tokens.

#	Modell	top100	95 % CI	Δ Vorlauf	widerspricht Soll-Fakt	zusätzl. falsch/unbelegt	Ø gesamt	Antworten betroffen	pro 1000 Tok.	IRR
1	GPT-5	83	77–88	+5	0,2	0,9	1,1	100 %	0,49	78 %
2	Claude Opus 4.7	76	70–81	+4	0,3	2,0	2,3	97 %	1,60	70 %
3	Claude Opus 4.8	67	61–72	—	0,6	1,1	1,7	93 %	1,11	65 %
4	Mistral Large 2	57	50–64	+3	0,7	1,5	2,1	97 %	3,37	54 %
5	Gemini 2.5 Pro	51	44–57	+3	0,7	0,5	1,1	73 %	3,97	59 %
6	Grok 4.3	51	45–57	+4	0,4	0,8	1,2	83 %	4,50	60 %

Roh-Daten dieses Laufs

raw.jsonl und progress.jsonl sind die öffentlichen, um Antworttexte bereinigten Streams (Kontaminationsschutz, Methodik §7).