Ranking-Lauf · 20.06.2026

Ranking-Lauf 20.06.2026

Claude Opus 4.7 führt mit 80/100 über alle Domänen. Steuerrecht: Claude Opus 4.7 (78) · Medizin: GPT-5.5 Pro (87) · Jura: Claude Opus 4.7 (82) · Wirtschaftsrecht: GPT-5.5 Pro (78).

Status: Entwicklungslauf — nicht im Feed, nicht auf der Startseite (Roster-Test / Zwischenlauf)
Lauf: run-20260620T073912-d2125c
Gestartet: 2026-06-20 07:39 UTC
Items: 100 (Steuerrecht 15, Medizin 20, Jura 35, Wirtschaftsrecht 30)
Modelle: 8
Judges: GPT-5, Claude Opus 4.8, Claude Opus 4.7, Mistral Large 2
Frage-Bank: 2026-05-17-v1
Code-Version: 0.2.6
Pipeline-Kosten: 122.61 USD
Judge-Übereinstimmung: 68 %

Gesamt über alle Domänen

#	Modell	top100	95 % CI	Δ Vorlauf	Ausfälle	Sek. Median/p90	Hallu-Band	pro 1000 Tok.	Δ eigene Familie
1	Claude Opus 4.7	0	20 / 29	80	77–83	+2	59	1,48	—
2	GPT-5.5 Pro n=99/100	1	199 / 831	78	75–82	-2	78	0,10	—
3	GPT-5	0	28 / 44	76	72–79	+4	70	0,60	—
4	Claude Opus 4.8	0	18 / 27	74	71–77	0	73	0,90	—
5	Kimi K2.6 n=99/100	1	122 / 266	59	54–64	+2	51	0,25	—
6	Gemini 3.1 Pro	0	23 / 32	54	50–58	0	75	4,15	—
7	Mistral Large 2	0	10 / 68	51	46–56	-1	50	4,30	—
8	Grok 4.3	0	5 / 7	48	43–52	0	73	5,19	—

Δ Vorlauf = Differenz zum vorherigen publizierten Lauf; „—" = Modell war dort nicht dabei. Hallu-Band: 100 = keine, 0 = ≥ 4 Falschbehauptungen pro Antwort. Pro 1000 Tok. = markierte Behauptungen je 1000 Ausgabe-Tokens (längen-normiert). Δ eigene Familie = Score mit allen Judges minus Score nur mit anbieterfremden Judges, in Punkten; positiv = die eigene Familie bewertet großzügiger; „—" = vor code_version 0.2.8 nicht erfasst oder kein fremder Judge (Methodik §4, §6.5).

Steuerrecht · 15 Items

Platz 1–3 statistisch gleichauf (95-%-CI überlappt mit Platz 1)

Im Bereich Steuerrecht widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,5 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 1,6 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 3.1 Pro mit Ø 1,1 pro Antwort. Auf die Antwortlänge bezogen: 1,65 pro 1000 Ausgabe-Tokens, am niedrigsten GPT-5.5 Pro mit 0,11.

#	Modell	top100	95 % CI	Δ Vorlauf	widerspricht Soll-Fakt	zusätzl. falsch/unbelegt	Ø gesamt	Antworten betroffen	pro 1000 Tok.	IRR
1	Claude Opus 4.7	78	73–84	+7	0,5	1,6	2,1	100 %	1,65	80 %
2	GPT-5.5 Pro	68	60–76	+1	0,9	0,7	1,6	100 %	0,11	68 %
3	GPT-5	67	54–79	+12	1,1	1,0	2,0	100 %	0,79	74 %
4	Claude Opus 4.8	65	59–72	-2	0,6	1,0	1,6	100 %	1,15	74 %
5	Gemini 3.1 Pro	44	36–51	0	0,8	0,5	1,1	73 %	4,66	56 %
6	Kimi K2.6	30	18–42	-3	1,9	2,0	3,9	100 %	0,40	46 %
7	Grok 4.3	28	21–37	+1	1,1	0,7	1,9	93 %	8,55	54 %
8	Mistral Large 2	27	18–37	+2	1,9	1,6	3,5	100 %	7,21	52 %

Medizin · 20 Items

Platz 1–4 statistisch gleichauf (95-%-CI überlappt mit Platz 1)

Im Bereich Medizin widerspricht GPT-5.5 Pro (Score-Spitze) im Mittel in 0,5 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 0,3 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 80 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 3.1 Pro mit Ø 0,4 pro Antwort. Auf die Antwortlänge bezogen: 0,19 pro 1000 Ausgabe-Tokens, am niedrigsten Kimi K2.6 mit 0,17.

#	Modell	top100	95 % CI	Δ Vorlauf	widerspricht Soll-Fakt	zusätzl. falsch/unbelegt	Ø gesamt	Antworten betroffen	pro 1000 Tok.	IRR
1	GPT-5.5 Pro	87	83–91	+1	0,5	0,3	0,7	80 %	0,19	81 %
2	Claude Opus 4.7	83	75–90	0	0,4	0,9	1,3	100 %	1,26	88 %
3	Claude Opus 4.8	81	75–87	-1	0,3	0,4	0,6	90 %	0,59	70 %
4	GPT-5	78	70–86	-2	0,6	0,5	1,0	100 %	0,73	70 %
5	Kimi K2.6	70	63–77	+6	0,4	0,6	0,9	90 %	0,17	67 %
6	Mistral Large 2	69	63–75	-2	0,5	0,5	1,0	85 %	1,89	72 %
7	Gemini 3.1 Pro	63	57–70	+3	0,3	0,2	0,4	60 %	2,00	70 %
8	Grok 4.3	60	50–68	+4	0,2	0,4	0,6	75 %	2,86	78 %

Jura · 35 Items

Platz 1–4 statistisch gleichauf (95-%-CI überlappt mit Platz 1)

Im Bereich Jura widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,3 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 0,7 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 83 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat GPT-5.5 Pro mit Ø 0,6 pro Antwort. Auf die Antwortlänge bezogen: 1,22 pro 1000 Ausgabe-Tokens, am niedrigsten GPT-5.5 Pro mit 0,08.

#	Modell	top100	95 % CI	Δ Vorlauf	widerspricht Soll-Fakt	zusätzl. falsch/unbelegt	Ø gesamt	Antworten betroffen	pro 1000 Tok.	IRR
1	Claude Opus 4.7	82	77–86	+3	0,3	0,7	1,0	83 %	1,22	82 %
2	Claude Opus 4.8	80	74–85	+4	0,2	0,5	0,7	71 %	0,70	76 %
3	GPT-5	77	73–81	+7	0,3	0,5	0,7	77 %	0,39	71 %
4	GPT-5.5 Pro	77	70–83	0	0,2	0,4	0,6	71 %	0,08	78 %
5	Kimi K2.6	63	57–69	+2	0,6	0,5	1,1	77 %	0,15	66 %
6	Gemini 3.1 Pro	58	51–64	-1	0,5	0,3	0,7	60 %	3,97	71 %
7	Grok 4.3	49	43–54	+1	0,5	0,2	0,6	60 %	4,97	67 %
8	Mistral Large 2	45	37–52	-4	1,2	0,7	1,8	80 %	6,10	62 %

Wirtschaftsrecht · 30 Items

Platz 1–4 statistisch gleichauf (95-%-CI überlappt mit Platz 1)

Im Bereich Wirtschaftsrecht widerspricht GPT-5.5 Pro (Score-Spitze) im Mittel in 0,3 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 0,7 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 97 % der Antworten enthalten mindestens eine Markierung. Auf die Antwortlänge bezogen: 0,10 pro 1000 Ausgabe-Tokens.

#	Modell	top100	95 % CI	Δ Vorlauf	widerspricht Soll-Fakt	zusätzl. falsch/unbelegt	Ø gesamt	Antworten betroffen	pro 1000 Tok.	IRR
1	GPT-5.5 Pro	78	71–84	-4	0,3	0,7	1,0	97 %	0,10	82 %
2	Claude Opus 4.7	77	72–81	+1	0,5	1,8	2,3	100 %	1,70	69 %
3	GPT-5	76	70–81	-3	0,6	0,9	1,5	100 %	0,62	65 %
4	Claude Opus 4.8	67	62–73	-4	0,6	1,0	1,6	100 %	1,08	63 %
5	Kimi K2.6	61	55–67	+2	0,8	1,9	2,7	100 %	0,31	52 %
6	Mistral Large 2	57	50–63	+1	0,7	1,3	2,1	93 %	3,41	53 %
7	Gemini 3.1 Pro	49	41–56	0	1,0	0,6	1,6	83 %	5,08	56 %
8	Grok 4.3	48	41–56	-3	0,7	0,8	1,5	87 %	5,09	57 %

Roh-Daten dieses Laufs

raw.jsonl und progress.jsonl sind die öffentlichen, um Antworttexte bereinigten Streams (Kontaminationsschutz, Methodik §7).