Ranking-Lauf · 20.05.2026

Ranking-Lauf 20.05.2026

Claude Opus 4.7 führt mit 76/100 über alle Domänen. Steuerrecht: Claude Opus 4.7 (79) · Medizin: Claude Opus 4.7 (80) · Jura: Claude Opus 4.7 (77) · Wirtschaftsrecht: GPT-5 (78).

Status: Entwicklungslauf — nicht im Feed, nicht auf der Startseite (Roster-Test / Zwischenlauf)
Lauf: run-20260520T074328-4a549c
Gestartet: 2026-05-20 07:43 UTC
Items: 100 (Steuerrecht 15, Medizin 20, Jura 35, Wirtschaftsrecht 30)
Modelle: 5
Judges: GPT-5, Claude Opus 4.7, Mistral Large 2
Frage-Bank: 2026-05-17-v1
Code-Version: 0.2.3
Pipeline-Kosten: 76.74 USD
Judge-Übereinstimmung: 68 %

Gesamt über alle Domänen

#	Modell	95 % CI	Δ Vorlauf	Ausfälle	Sek. Median/p90	Hallu-Band	pro 1000 Tok.	Δ eigene Familie
1	Claude Opus 4.7	21 / 31	76	73–79	-3	55	1,60	—
2	GPT-5	30 / 47	74	70–78	-1	67	0,70	—
3	Gemini 2.5 Pro	22 / 26	52	48–57	-2	80	3,44	—
4	Mistral Large 2	12 / 68	49	45–54	0	49	4,28	—
5	Grok 4.3	13 / 19	48	44–51	+2	74	4,59	—

Δ Vorlauf = Differenz zum vorherigen publizierten Lauf; „—" = Modell war dort nicht dabei. Hallu-Band: 100 = keine, 0 = ≥ 4 Falschbehauptungen pro Antwort. Pro 1000 Tok. = markierte Behauptungen je 1000 Ausgabe-Tokens (längen-normiert). Δ eigene Familie = Score mit allen Judges minus Score nur mit anbieterfremden Judges, in Punkten; positiv = die eigene Familie bewertet großzügiger; „—" = vor code_version 0.2.8 nicht erfasst oder kein fremder Judge (Methodik §4, §6.5).

Steuerrecht · 15 Items

Im Bereich Steuerrecht widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,4 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 2,1 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 1,8 pro Antwort. Auf die Antwortlänge bezogen: 1,92 pro 1000 Ausgabe-Tokens, am niedrigsten GPT-5 mit 1,01.

#	Modell	top100	95 % CI	Δ Vorlauf	widerspricht Soll-Fakt	zusätzl. falsch/unbelegt	Ø gesamt	Antworten betroffen	pro 1000 Tok.	IRR
1	Claude Opus 4.7	79	72–86	+6	0,4	2,1	2,5	100 %	1,92	77 %
2	GPT-5	54	40–67	-6	1,3	1,2	2,5	93 %	1,01	65 %
3	Gemini 2.5 Pro	30	21–40	-10	1,4	0,5	1,8	87 %	8,36	59 %
4	Grok 4.3	30	22–37	+8	1,5	0,8	2,3	93 %	9,15	56 %
5	Mistral Large 2	27	19–37	+3	1,8	1,2	3,0	100 %	6,32	55 %

Medizin · 20 Items

Platz 1–3 statistisch gleichauf (95-%-CI überlappt mit Platz 1)

Im Bereich Medizin widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,6 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 0,9 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 95 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Grok 4.3 mit Ø 0,4 pro Antwort. Auf die Antwortlänge bezogen: 1,50 pro 1000 Ausgabe-Tokens, am niedrigsten GPT-5 mit 0,91.

#	Modell	top100	95 % CI	Δ Vorlauf	widerspricht Soll-Fakt	zusätzl. falsch/unbelegt	Ø gesamt	Antworten betroffen	pro 1000 Tok.	IRR
1	Claude Opus 4.7	80	73–87	-7	0,6	0,9	1,5	95 %	1,50	82 %
2	GPT-5	79	69–88	-3	0,6	0,7	1,2	85 %	0,91	81 %
3	Mistral Large 2	67	59–74	+3	0,4	0,9	1,3	95 %	2,56	68 %
4	Gemini 2.5 Pro	56	47–64	0	0,2	0,3	0,5	50 %	2,35	73 %
5	Grok 4.3	55	48–61	+4	0,3	0,2	0,4	70 %	2,06	70 %

Jura · 35 Items

Platz 1–2 statistisch gleichauf (95-%-CI überlappt mit Platz 1)

Im Bereich Jura widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,3 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 0,9 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 86 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 0,2 pro Antwort. Auf die Antwortlänge bezogen: 1,46 pro 1000 Ausgabe-Tokens, am niedrigsten GPT-5 mit 0,60.

#	Modell	top100	95 % CI	Δ Vorlauf	widerspricht Soll-Fakt	zusätzl. falsch/unbelegt	Ø gesamt	Antworten betroffen	pro 1000 Tok.	IRR
1	Claude Opus 4.7	77	70–83	-6	0,3	0,9	1,2	86 %	1,46	83 %
2	GPT-5	77	71–82	+1	0,2	0,8	1,0	83 %	0,60	73 %
3	Gemini 2.5 Pro	62	56–66	-1	0,2	0,1	0,2	29 %	1,31	72 %
4	Grok 4.3	50	45–56	-4	0,3	0,2	0,4	51 %	3,41	68 %
5	Mistral Large 2	46	38–54	-4	1,1	0,7	1,8	83 %	6,12	62 %

Wirtschaftsrecht · 30 Items

Platz 1–2 statistisch gleichauf (95-%-CI überlappt mit Platz 1)

Im Bereich Wirtschaftsrecht widerspricht GPT-5 (Score-Spitze) im Mittel in 0,3 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 1,0 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 93 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 1,1 pro Antwort. Auf die Antwortlänge bezogen: 0,53 pro 1000 Ausgabe-Tokens.

#	Modell	top100	95 % CI	Δ Vorlauf	widerspricht Soll-Fakt	zusätzl. falsch/unbelegt	Ø gesamt	Antworten betroffen	pro 1000 Tok.	IRR
1	GPT-5	78	72–83	+1	0,3	1,0	1,2	93 %	0,53	73 %
2	Claude Opus 4.7	72	67–76	-1	0,5	1,7	2,3	97 %	1,60	66 %
3	Mistral Large 2	52	46–59	0	0,7	1,5	2,2	93 %	3,40	56 %
4	Gemini 2.5 Pro	50	43–56	+2	0,6	0,6	1,1	83 %	3,77	64 %
5	Grok 4.3	49	42–56	+4	0,7	0,7	1,4	77 %	4,43	60 %

Roh-Daten dieses Laufs

raw.jsonl und progress.jsonl sind die öffentlichen, um Antworttexte bereinigten Streams (Kontaminationsschutz, Methodik §7).