Ranking-Lauf · 18.06.2026

Ranking-Lauf 18.06.2026

Claude Opus 4.7 führt mit 80/100 über alle Domänen. Steuerrecht: Claude Opus 4.7 (70) · Medizin: Claude Opus 4.7 (85) · Jura: Claude Opus 4.7 (84) · Wirtschaftsrecht: GPT-5 (80).

Status: Entwicklungslauf — nicht im Feed, nicht auf der Startseite (Roster-Test / Zwischenlauf)
Lauf: run-20260618T165158-d2543a
Gestartet: 2026-06-18 16:51 UTC
Items: 100 (Steuerrecht 15, Medizin 20, Jura 35, Wirtschaftsrecht 30)
Modelle: 7
Judges: GPT-5, Claude Opus 4.8, Claude Opus 4.7, Mistral Large 2
Frage-Bank: 2026-05-17-v1
Code-Version: 0.2.6
Pipeline-Kosten: 87.07 USD
Judge-Übereinstimmung: 68 %

Gesamt über alle Domänen

#	Modell	95 % CI	Δ Vorlauf	Ausfälle	Sek. Median/p90	Hallu-Band	pro 1000 Tok.	Δ eigene Familie
1	Claude Opus 4.7	19 / 29	80	77–83	+1	60	1,49	—
2	GPT-5	24 / 38	76	72–79	+2	69	0,63	—
3	Claude Opus 4.8	18 / 28	74	70–78	0	69	1,02	—
4	Kimi K2.6	186 / 772	56	51–61	—	45	0,30	—
5	Gemini 2.5 Pro	21 / 26	53	49–57	-1	79	3,66	—
6	Mistral Large 2	10 / 70	51	45–55	+2	47	4,60	—
7	Grok 4.3	7 / 8	44	39–49	-4	68	6,30	—

Δ Vorlauf = Differenz zum vorherigen publizierten Lauf; „—" = Modell war dort nicht dabei. Hallu-Band: 100 = keine, 0 = ≥ 4 Falschbehauptungen pro Antwort. Pro 1000 Tok. = markierte Behauptungen je 1000 Ausgabe-Tokens (längen-normiert). Δ eigene Familie = Score mit allen Judges minus Score nur mit anbieterfremden Judges, in Punkten; positiv = die eigene Familie bewertet großzügiger; „—" = vor code_version 0.2.8 nicht erfasst oder kein fremder Judge (Methodik §4, §6.5).

Steuerrecht · 15 Items

Platz 1–3 statistisch gleichauf (95-%-CI überlappt mit Platz 1)

Im Bereich Steuerrecht widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,7 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 1,8 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 93 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 2,0 pro Antwort. Auf die Antwortlänge bezogen: 2,06 pro 1000 Ausgabe-Tokens, am niedrigsten Kimi K2.6 mit 0,37.

#	Modell	top100	95 % CI	Δ Vorlauf	widerspricht Soll-Fakt	zusätzl. falsch/unbelegt	Ø gesamt	Antworten betroffen	pro 1000 Tok.	IRR
1	Claude Opus 4.7	70	64–77	-5	0,7	1,8	2,5	93 %	2,06	71 %
2	Claude Opus 4.8	69	63–74	+3	0,8	1,2	2,0	100 %	1,42	76 %
3	GPT-5	62	49–73	+3	1,1	1,1	2,2	100 %	0,85	65 %
4	Kimi K2.6	37	26–48	—	1,5	1,8	3,3	100 %	0,37	60 %
5	Gemini 2.5 Pro	35	25–46	-3	1,3	0,7	2,0	87 %	9,18	60 %
6	Mistral Large 2	28	18–38	-2	1,7	1,3	3,0	100 %	6,44	60 %
7	Grok 4.3	23	14–32	-3	1,7	0,7	2,4	100 %	10,36	51 %

Medizin · 20 Items

Platz 1–3 statistisch gleichauf (95-%-CI überlappt mit Platz 1)

Im Bereich Medizin widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,4 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 0,8 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 95 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Grok 4.3 mit Ø 0,4 pro Antwort. Auf die Antwortlänge bezogen: 1,12 pro 1000 Ausgabe-Tokens, am niedrigsten Kimi K2.6 mit 0,18.

#	Modell	top100	95 % CI	Δ Vorlauf	widerspricht Soll-Fakt	zusätzl. falsch/unbelegt	Ø gesamt	Antworten betroffen	pro 1000 Tok.	IRR
1	Claude Opus 4.7	85	79–90	0	0,4	0,8	1,1	95 %	1,12	88 %
2	GPT-5	84	77–89	+4	0,5	0,6	1,0	90 %	0,77	78 %
3	Claude Opus 4.8	79	71–86	0	0,3	0,3	0,6	75 %	0,56	76 %
4	Mistral Large 2	68	61–74	-1	0,4	0,8	1,2	95 %	2,28	75 %
5	Kimi K2.6	66	59–74	—	0,5	0,5	1,0	95 %	0,18	62 %
6	Gemini 2.5 Pro	59	52–66	-2	0,2	0,4	0,5	55 %	2,31	74 %
7	Grok 4.3	53	46–60	+1	0,3	0,1	0,4	40 %	1,79	68 %

Jura · 35 Items

Platz 1–3 statistisch gleichauf (95-%-CI überlappt mit Platz 1)

Im Bereich Jura widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,2 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 0,8 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 77 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 0,3 pro Antwort. Auf die Antwortlänge bezogen: 1,10 pro 1000 Ausgabe-Tokens, am niedrigsten Kimi K2.6 mit 0,26.

#	Modell	top100	95 % CI	Δ Vorlauf	widerspricht Soll-Fakt	zusätzl. falsch/unbelegt	Ø gesamt	Antworten betroffen	pro 1000 Tok.	IRR
1	Claude Opus 4.7	84	80–88	+4	0,2	0,8	0,9	77 %	1,10	84 %
2	Claude Opus 4.8	78	72–83	-2	0,3	0,5	0,8	71 %	0,88	77 %
3	GPT-5	74	66–80	+1	0,4	0,6	1,0	89 %	0,56	76 %
4	Gemini 2.5 Pro	61	55–67	+2	0,2	0,1	0,3	29 %	1,40	74 %
5	Kimi K2.6	57	49–65	—	1,0	0,9	1,8	83 %	0,26	68 %
6	Mistral Large 2	44	36–52	+2	1,3	0,9	2,1	83 %	7,07	60 %
7	Grok 4.3	42	34–49	-9	1,1	0,3	1,2	66 %	10,70	68 %

Wirtschaftsrecht · 30 Items

Platz 1–2 statistisch gleichauf (95-%-CI überlappt mit Platz 1)

Im Bereich Wirtschaftsrecht widerspricht GPT-5 (Score-Spitze) im Mittel in 0,5 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 0,7 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 97 % der Antworten enthalten mindestens eine Markierung. Auf die Antwortlänge bezogen: 0,51 pro 1000 Ausgabe-Tokens, am niedrigsten Kimi K2.6 mit 0,37.

#	Modell	top100	95 % CI	Δ Vorlauf	widerspricht Soll-Fakt	zusätzl. falsch/unbelegt	Ø gesamt	Antworten betroffen	pro 1000 Tok.	IRR
1	GPT-5	80	75–85	0	0,5	0,7	1,2	97 %	0,51	64 %
2	Claude Opus 4.7	78	73–83	+1	0,4	1,9	2,3	100 %	1,69	70 %
3	Claude Opus 4.8	69	63–75	+1	0,6	1,2	1,8	100 %	1,13	70 %
4	Kimi K2.6	58	50–66	—	0,8	2,0	2,9	100 %	0,37	53 %
5	Mistral Large 2	58	51–64	+4	0,8	1,5	2,3	93 %	3,76	55 %
6	Grok 4.3	51	43–59	-2	0,8	0,6	1,4	77 %	4,67	56 %
7	Gemini 2.5 Pro	48	41–55	-4	0,7	0,5	1,2	87 %	4,07	55 %

Roh-Daten dieses Laufs

raw.jsonl und progress.jsonl sind die öffentlichen, um Antworttexte bereinigten Streams (Kontaminationsschutz, Methodik §7).