Ranking-Lauf · 15.06.2026

Ranking-Lauf 15.06.2026

Claude Opus 4.7 führt mit 79/100 über alle Domänen. Steuerrecht: Claude Opus 4.7 (75) · Medizin: Claude Opus 4.7 (85) · Jura: Claude Opus 4.7 (80) · Wirtschaftsrecht: GPT-5 (80).

Status: Entwicklungslauf — nicht im Feed, nicht auf der Startseite (Roster-Test / Zwischenlauf)
Lauf: run-20260615T043639-30c761
Gestartet: 2026-06-15 04:36 UTC
Items: 100 (Steuerrecht 15, Medizin 20, Jura 35, Wirtschaftsrecht 30)
Modelle: 6
Judges: GPT-5, Claude Opus 4.8, Claude Opus 4.7, Mistral Large 2
Frage-Bank: 2026-05-17-v1
Code-Version: 0.2.4
Pipeline-Kosten: 72.01 USD
Judge-Übereinstimmung: 67 %

Gesamt über alle Domänen

#	Modell	95 % CI	Δ Vorlauf	Ausfälle	Sek. Median/p90	Hallu-Band	pro 1000 Tok.	Δ eigene Familie
1	Claude Opus 4.7	19 / 28	79	76–82	-2	56	1,59	—
2	Claude Opus 4.8	17 / 29	74	71–77	0	73	0,89	—
2	GPT-5	23 / 42	74	70–78	-3	69	0,65	—
3	Gemini 2.5 Pro	19 / 23	54	50–58	0	82	3,17	—
4	Mistral Large 2	10 / 66	49	44–54	-1	47	4,46	—
5	Grok 4.3	8 / 10	48	44–52	+1	76	4,58	—

Δ Vorlauf = Differenz zum vorherigen publizierten Lauf; „—" = Modell war dort nicht dabei. Hallu-Band: 100 = keine, 0 = ≥ 4 Falschbehauptungen pro Antwort. Pro 1000 Tok. = markierte Behauptungen je 1000 Ausgabe-Tokens (längen-normiert). Δ eigene Familie = Score mit allen Judges minus Score nur mit anbieterfremden Judges, in Punkten; positiv = die eigene Familie bewertet großzügiger; „—" = vor code_version 0.2.8 nicht erfasst oder kein fremder Judge (Methodik §4, §6.5).

Steuerrecht · 15 Items

Platz 1–3 statistisch gleichauf (95-%-CI überlappt mit Platz 1)

Im Bereich Steuerrecht widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,3 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 2,0 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 1,5 pro Antwort. Auf die Antwortlänge bezogen: 1,76 pro 1000 Ausgabe-Tokens, am niedrigsten GPT-5 mit 0,75.

#	Modell	top100	95 % CI	Δ Vorlauf	widerspricht Soll-Fakt	zusätzl. falsch/unbelegt	Ø gesamt	Antworten betroffen	pro 1000 Tok.	IRR
1	Claude Opus 4.7	75	68–81	-2	0,3	2,0	2,3	100 %	1,76	68 %
2	Claude Opus 4.8	66	60–73	-3	0,5	1,1	1,6	100 %	1,20	73 %
3	GPT-5	59	46–70	-8	1,1	0,9	2,0	100 %	0,75	55 %
4	Gemini 2.5 Pro	38	27–48	+3	1,1	0,6	1,5	93 %	6,88	53 %
5	Mistral Large 2	30	20–41	+5	1,5	2,0	3,5	100 %	7,29	57 %
6	Grok 4.3	26	17–36	0	1,7	1,0	2,7	100 %	11,37	58 %

Medizin · 20 Items

Platz 1–3 statistisch gleichauf (95-%-CI überlappt mit Platz 1)

Im Bereich Medizin widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,5 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 0,8 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 0,2 pro Antwort. Auf die Antwortlänge bezogen: 1,21 pro 1000 Ausgabe-Tokens, am niedrigsten Claude Opus 4.8 mit 0,65.

#	Modell	top100	95 % CI	Δ Vorlauf	widerspricht Soll-Fakt	zusätzl. falsch/unbelegt	Ø gesamt	Antworten betroffen	pro 1000 Tok.	IRR
1	Claude Opus 4.7	85	80–90	-1	0,5	0,8	1,2	100 %	1,21	75 %
2	GPT-5	80	73–86	-2	0,5	0,4	0,9	80 %	0,66	77 %
3	Claude Opus 4.8	79	71–87	-1	0,3	0,4	0,7	75 %	0,65	68 %
4	Mistral Large 2	69	63–75	+3	0,4	0,7	1,1	95 %	2,18	74 %
5	Gemini 2.5 Pro	61	54–68	+4	0,1	0,1	0,2	40 %	0,98	70 %
6	Grok 4.3	52	47–58	-1	0,3	0,2	0,4	55 %	2,05	75 %

Jura · 35 Items

Platz 1–3 statistisch gleichauf (95-%-CI überlappt mit Platz 1)

Im Bereich Jura widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,3 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 0,7 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 74 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Grok 4.3 mit Ø 0,4 pro Antwort. Auf die Antwortlänge bezogen: 1,26 pro 1000 Ausgabe-Tokens, am niedrigsten Claude Opus 4.8 mit 0,62.

#	Modell	top100	95 % CI	Δ Vorlauf	widerspricht Soll-Fakt	zusätzl. falsch/unbelegt	Ø gesamt	Antworten betroffen	pro 1000 Tok.	IRR
1	Claude Opus 4.7	80	75–85	-4	0,3	0,7	1,0	74 %	1,26	81 %
2	Claude Opus 4.8	80	75–84	+1	0,2	0,4	0,6	66 %	0,62	77 %
3	GPT-5	73	65–79	-1	0,5	0,6	1,1	80 %	0,69	74 %
4	Gemini 2.5 Pro	59	54–64	-3	0,2	0,2	0,4	40 %	1,93	71 %
5	Grok 4.3	51	46–55	+3	0,3	0,2	0,4	40 %	2,83	64 %
6	Mistral Large 2	42	34–49	-5	1,3	0,7	1,9	80 %	6,32	66 %

Wirtschaftsrecht · 30 Items

Platz 1–2 statistisch gleichauf (95-%-CI überlappt mit Platz 1)

Im Bereich Wirtschaftsrecht widerspricht GPT-5 (Score-Spitze) im Mittel in 0,4 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 0,9 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 90 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 1,0 pro Antwort. Auf die Antwortlänge bezogen: 0,54 pro 1000 Ausgabe-Tokens.

#	Modell	top100	95 % CI	Δ Vorlauf	widerspricht Soll-Fakt	zusätzl. falsch/unbelegt	Ø gesamt	Antworten betroffen	pro 1000 Tok.	IRR
1	GPT-5	80	75–85	-3	0,4	0,9	1,2	90 %	0,54	68 %
2	Claude Opus 4.7	77	72–82	+1	0,7	2,0	2,7	100 %	1,92	72 %
3	Claude Opus 4.8	68	62–74	+1	0,5	1,1	1,6	93 %	1,06	59 %
4	Mistral Large 2	54	48–60	-3	0,8	1,5	2,3	97 %	3,62	52 %
5	Grok 4.3	53	48–58	+2	0,5	0,6	1,1	90 %	3,81	61 %
6	Gemini 2.5 Pro	52	47–58	+1	0,6	0,5	1,0	80 %	3,75	61 %

Roh-Daten dieses Laufs

raw.jsonl und progress.jsonl sind die öffentlichen, um Antworttexte bereinigten Streams (Kontaminationsschutz, Methodik §7).