Ranking-Lauf · 29.05.2026

Ranking-Lauf 29.05.2026

Claude Opus 4.7 führt mit 79/100 über alle Domänen. Steuerrecht: Claude Opus 4.7 (71) · Medizin: Claude Opus 4.7 (84) · Jura: Claude Opus 4.7 (82) · Wirtschaftsrecht: GPT-5 (80).

Status: offizieller Lauf (Feed, Archiv, Startseite)
Lauf: run-20260529T043500-b4ffe0
Gestartet: 2026-05-29 04:35 UTC
Items: 100 (Steuerrecht 15, Medizin 20, Jura 35, Wirtschaftsrecht 30)
Modelle: 6
Judges: GPT-5, Claude Opus 4.8, Claude Opus 4.7, Mistral Large 2
Frage-Bank: 2026-05-17-v1
Code-Version: 0.2.3
Pipeline-Kosten: 72.88 USD
Judge-Übereinstimmung: 69 %

Gesamt über alle Domänen

#	Modell	95 % CI	Δ Vorlauf	Ausfälle	Sek. Median/p90	Hallu-Band	pro 1000 Tok.	Δ eigene Familie
1	Claude Opus 4.7	19 / 31	79	77–82	—	57	1,54	—
2	GPT-5	34 / 59	75	71–79	—	67	0,67	—
3	Claude Opus 4.8	18 / 28	74	71–77	—	72	0,91	—
4	Gemini 2.5 Pro	21 / 26	55	51–59	—	80	3,45	—
5	Mistral Large 2	9 / 65	51	47–57	—	47	4,62	—
6	Grok 4.3	6 / 10	47	43–51	—	76	4,80	—

Δ Vorlauf = Differenz zum vorherigen publizierten Lauf; „—" = Modell war dort nicht dabei. Hallu-Band: 100 = keine, 0 = ≥ 4 Falschbehauptungen pro Antwort. Pro 1000 Tok. = markierte Behauptungen je 1000 Ausgabe-Tokens (längen-normiert). Δ eigene Familie = Score mit allen Judges minus Score nur mit anbieterfremden Judges, in Punkten; positiv = die eigene Familie bewertet großzügiger; „—" = vor code_version 0.2.8 nicht erfasst oder kein fremder Judge (Methodik §4, §6.5).

Steuerrecht · 15 Items

Platz 1–3 statistisch gleichauf (95-%-CI überlappt mit Platz 1)

Im Bereich Steuerrecht widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,5 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 2,0 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Claude Opus 4.8 mit Ø 1,4 pro Antwort. Auf die Antwortlänge bezogen: 1,95 pro 1000 Ausgabe-Tokens, am niedrigsten GPT-5 mit 0,83.

#	Modell	top100	95 % CI	Δ Vorlauf	widerspricht Soll-Fakt	zusätzl. falsch/unbelegt	Ø gesamt	Antworten betroffen	pro 1000 Tok.	IRR
1	Claude Opus 4.7	71	66–77	—	0,5	2,0	2,4	100 %	1,95	78 %
2	Claude Opus 4.8	69	63–74	—	0,6	0,9	1,4	100 %	1,02	79 %
3	GPT-5	63	52–73	—	0,9	1,3	2,2	100 %	0,83	69 %
4	Gemini 2.5 Pro	38	28–48	—	1,2	0,6	1,8	80 %	8,03	60 %
5	Mistral Large 2	28	19–39	—	1,9	1,6	3,4	93 %	7,55	50 %
6	Grok 4.3	27	18–37	—	1,5	1,0	2,4	100 %	10,98	60 %

Medizin · 20 Items

Platz 1–3 statistisch gleichauf (95-%-CI überlappt mit Platz 1)

Im Bereich Medizin widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,5 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 0,8 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 0,4 pro Antwort. Auf die Antwortlänge bezogen: 1,15 pro 1000 Ausgabe-Tokens, am niedrigsten Claude Opus 4.8 mit 0,68.

#	Modell	top100	95 % CI	Δ Vorlauf	widerspricht Soll-Fakt	zusätzl. falsch/unbelegt	Ø gesamt	Antworten betroffen	pro 1000 Tok.	IRR
1	Claude Opus 4.7	84	77–90	—	0,5	0,8	1,1	100 %	1,15	81 %
2	GPT-5	81	72–89	—	0,6	0,5	1,0	80 %	0,75	78 %
3	Claude Opus 4.8	79	72–84	—	0,4	0,4	0,7	80 %	0,68	72 %
4	Mistral Large 2	67	60–74	—	0,4	0,9	1,2	95 %	2,47	70 %
5	Gemini 2.5 Pro	61	52–67	—	0,1	0,3	0,4	60 %	1,71	73 %
6	Grok 4.3	55	47–64	—	0,3	0,2	0,4	60 %	2,18	75 %

Jura · 35 Items

Platz 1–3 statistisch gleichauf (95-%-CI überlappt mit Platz 1)

Im Bereich Jura widerspricht Claude Opus 4.7 (Score-Spitze) im Mittel in 0,2 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 0,8 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 86 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 2.5 Pro mit Ø 0,2 pro Antwort. Auf die Antwortlänge bezogen: 1,22 pro 1000 Ausgabe-Tokens, am niedrigsten GPT-5 mit 0,58.

#	Modell	top100	95 % CI	Δ Vorlauf	widerspricht Soll-Fakt	zusätzl. falsch/unbelegt	Ø gesamt	Antworten betroffen	pro 1000 Tok.	IRR
1	Claude Opus 4.7	82	77–86	—	0,2	0,8	1,0	86 %	1,22	82 %
2	Claude Opus 4.8	79	74–84	—	0,2	0,4	0,6	66 %	0,61	76 %
3	GPT-5	73	66–80	—	0,4	0,6	1,0	80 %	0,58	70 %
4	Gemini 2.5 Pro	62	58–67	—	0,1	0,1	0,2	34 %	1,21	68 %
5	Grok 4.3	48	42–54	—	0,3	0,2	0,4	34 %	3,60	67 %
6	Mistral Large 2	46	38–54	—	1,3	0,7	1,9	77 %	6,53	64 %

Wirtschaftsrecht · 30 Items

Platz 1–3 statistisch gleichauf (95-%-CI überlappt mit Platz 1)

Im Bereich Wirtschaftsrecht widerspricht GPT-5 (Score-Spitze) im Mittel in 0,4 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 1,0 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 97 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Grok 4.3 mit Ø 1,1 pro Antwort. Auf die Antwortlänge bezogen: 0,63 pro 1000 Ausgabe-Tokens.

#	Modell	top100	95 % CI	Δ Vorlauf	widerspricht Soll-Fakt	zusätzl. falsch/unbelegt	Ø gesamt	Antworten betroffen	pro 1000 Tok.	IRR
1	GPT-5	80	73–86	—	0,4	1,0	1,4	97 %	0,63	75 %
2	Claude Opus 4.7	77	72–81	—	0,3	2,2	2,5	100 %	1,76	68 %
3	Claude Opus 4.8	68	63–74	—	0,5	1,4	1,9	97 %	1,18	62 %
4	Mistral Large 2	59	52–65	—	0,7	1,6	2,3	97 %	3,62	58 %
5	Gemini 2.5 Pro	52	45–58	—	0,7	0,6	1,3	90 %	4,29	61 %
6	Grok 4.3	50	43–57	—	0,6	0,6	1,1	87 %	4,12	54 %

Roh-Daten dieses Laufs

raw.jsonl und progress.jsonl sind die öffentlichen, um Antworttexte bereinigten Streams (Kontaminationsschutz, Methodik §7).