Ranking-Lauf · 04.09.2026

Ranking-Lauf 04.09.2026

Claude Opus 5 führt mit 86/100 über alle Domänen. Steuerrecht: Claude Opus 5 (85) · Medizin: Claude Opus 5 (91) · Jura: Claude Opus 5 (91) · Wirtschaftsrecht: Claude Opus 5 (79).

Status: Entwicklungslauf — nicht im Feed, nicht auf der Startseite (Roster-Test / Zwischenlauf)
Lauf: run-20260904T151155-c623e0
Gestartet: 2026-09-04 15:11 UTC
Items: 100 (Steuerrecht 15, Medizin 20, Jura 35, Wirtschaftsrecht 30)
Modelle: 14
Judges: GPT-5, Claude Opus 4.8, Claude Opus 4.7, Mistral Large 2
Frage-Bank: 2026-05-17-v1
Code-Version: 0.2.7
Pipeline-Kosten: 233.44 USD
Judge-Übereinstimmung: 70 %

Gesamt über alle Domänen

#	Modell	top100	95 % CI	Δ Vorlauf	Ausfälle	Sek. Median/p90	Hallu-Band	pro 1000 Tok.	Δ eigene Familie
1	Claude Opus 5	0	62 / 130	86	83–89	—	48	0,39	—
2	Claude Fable 5.1 n=98/100	2 (1 T)	49 / 89	81	77–85	—	40	0,61	—
3	Claude Opus 4.7 n=99/100	1 (1 T)	20 / 29	79	75–82	+1	60	1,41	—
4	Kimi K3 n=81/100	19 (18 T)	146 / 286	78	74–83	+2	50	0,35	—
5	GLM-5.3 n=68/100	32	139 / 409	77	71–82	—	47	0,26	—
6	Claude Opus 4.8	0	19 / 30	76	73–79	+1	68	1,08	—
6	GPT-5.6 Sol	0	71 / 181	76	72–79	-1	67	0,27	—
7	GPT-6 Astra	0	109 / 214	75	71–78	—	63	0,37	—
8	GPT-5	0	32 / 50	74	69–78	+2	66	0,68	—
9	Grok 4.6	0	68 / 115	65	62–69	—	78	2,63	—
10	Grok 4.5	0	31 / 52	64	61–68	+1	83	2,08	—
11	DeepSeek V4 Pro n=98/100	2	99 / 207	59	55–63	—	71	0,18	—
12	Gemini 3.1 Pro n=96/100	4 (4 T)	27 / 101	55	51–58	+1	74	4,36	—
13	Mistral Large 2	0	8 / 15	50	45–55	-1	47	4,64	—

Δ Vorlauf = Differenz zum vorherigen publizierten Lauf; „—" = Modell war dort nicht dabei. Hallu-Band: 100 = keine, 0 = ≥ 4 Falschbehauptungen pro Antwort. Pro 1000 Tok. = markierte Behauptungen je 1000 Ausgabe-Tokens (längen-normiert). Δ eigene Familie = Score mit allen Judges minus Score nur mit anbieterfremden Judges, in Punkten; positiv = die eigene Familie bewertet großzügiger; „—" = vor code_version 0.2.8 nicht erfasst oder kein fremder Judge (Methodik §4, §6.5).

Steuerrecht · 15 Items

Platz 1–6 statistisch gleichauf (95-%-CI überlappt mit Platz 1)

Im Bereich Steuerrecht widerspricht Claude Opus 5 (Score-Spitze) im Mittel in 0,7 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 2,3 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Grok 4.5 mit Ø 1,2 pro Antwort. Auf die Antwortlänge bezogen: 0,38 pro 1000 Ausgabe-Tokens, am niedrigsten DeepSeek V4 Pro mit 0,31.

#	Modell	top100	95 % CI	Δ Vorlauf	widerspricht Soll-Fakt	zusätzl. falsch/unbelegt	Ø gesamt	Antworten betroffen	pro 1000 Tok.	IRR
1	Claude Opus 5	85	76–94	—	0,7	2,3	3,0	100 %	0,38	80 %
2	Claude Fable 5.1	76	64–86	—	0,9	2,8	3,7	100 %	0,56	75 %
3	GLM-5.3	76	67–81	—	0,7	2,5	3,2	100 %	0,39	78 %
4	Claude Opus 4.7	73	65–82	+2	0,5	1,8	2,2	93 %	1,66	65 %
5	Claude Opus 4.8	70	61–77	+5	0,7	1,0	1,6	100 %	1,17	77 %
6	GPT-6 Astra	68	58–77	—	1,0	1,3	2,3	100 %	0,40	74 %
7	GPT-5.6 Sol	61	53–71	-7	1,3	1,5	2,7	100 %	0,33	53 %
8	GPT-5	59	43–72	+5	1,5	0,9	2,5	100 %	0,88	60 %
9	Kimi K3	56	34–76	-21	1,4	1,6	3,0	100 %	0,35	71 %
10	Grok 4.6	54	47–62	—	1,1	0,7	1,8	93 %	4,51	59 %
11	Grok 4.5	50	42–60	-8	0,8	0,5	1,2	87 %	3,54	59 %
12	Gemini 3.1 Pro	46	37–55	+6	1,1	0,7	1,7	86 %	6,86	60 %
13	DeepSeek V4 Pro	41	29–54	—	1,8	1,1	2,8	92 %	0,31	56 %
14	Mistral Large 2	28	19–39	-2	2,2	1,4	3,5	93 %	7,44	55 %

Medizin · 20 Items

Platz 1–9 statistisch gleichauf (95-%-CI überlappt mit Platz 1)

Im Bereich Medizin widerspricht Claude Opus 5 (Score-Spitze) im Mittel in 0,4 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 1,1 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Gemini 3.1 Pro mit Ø 0,4 pro Antwort. Auf die Antwortlänge bezogen: 0,45 pro 1000 Ausgabe-Tokens, am niedrigsten DeepSeek V4 Pro mit 0,17.

#	Modell	top100	95 % CI	Δ Vorlauf	widerspricht Soll-Fakt	zusätzl. falsch/unbelegt	Ø gesamt	Antworten betroffen	pro 1000 Tok.	IRR
1	Claude Opus 5	91	85–96	—	0,4	1,1	1,5	100 %	0,45	89 %
2	Claude Fable 5.1	85	77–92	—	0,5	0,8	1,3	100 %	0,61	84 %
3	GLM-5.3	84	77–90	—	0,6	0,9	1,3	100 %	0,27	82 %
4	GPT-5	84	78–90	+6	0,3	0,6	0,8	95 %	0,59	82 %
5	GPT-6 Astra	84	81–88	—	0,5	0,5	0,9	95 %	0,49	78 %
6	Claude Opus 4.7	83	76–89	0	0,4	0,7	1,0	95 %	0,92	72 %
7	Claude Opus 4.8	83	77–88	+3	0,3	0,7	0,9	100 %	0,80	78 %
8	Kimi K3	83	77–90	+2	0,7	0,8	1,3	90 %	0,37	74 %
9	GPT-5.6 Sol	82	77–87	-3	0,6	0,3	0,7	85 %	0,44	69 %
10	DeepSeek V4 Pro	70	63–78	—	0,2	0,3	0,4	65 %	0,17	66 %
11	Grok 4.6	68	61–75	—	0,3	0,2	0,4	65 %	1,81	68 %
12	Grok 4.5	67	59–75	+1	0,3	0,2	0,4	60 %	1,63	71 %
13	Mistral Large 2	65	60–70	-4	0,6	0,8	1,4	95 %	2,83	66 %
14	Gemini 3.1 Pro	61	54–68	-1	0,3	0,2	0,4	50 %	1,56	73 %

Jura · 35 Items

Platz 1–2 statistisch gleichauf (95-%-CI überlappt mit Platz 1)

Im Bereich Jura widerspricht Claude Opus 5 (Score-Spitze) im Mittel in 0,3 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 1,3 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 94 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Grok 4.6 mit Ø 0,4 pro Antwort. Auf die Antwortlänge bezogen: 0,47 pro 1000 Ausgabe-Tokens, am niedrigsten DeepSeek V4 Pro mit 0,12.

#	Modell	top100	95 % CI	Δ Vorlauf	widerspricht Soll-Fakt	zusätzl. falsch/unbelegt	Ø gesamt	Antworten betroffen	pro 1000 Tok.	IRR
1	Claude Opus 5	91	87–94	—	0,3	1,3	1,7	94 %	0,47	84 %
2	Claude Fable 5.1	88	83–92	—	0,2	1,3	1,5	94 %	0,50	86 %
3	Claude Opus 4.7	80	73–87	-2	0,2	0,7	0,9	79 %	1,04	82 %
4	Claude Opus 4.8	80	76–84	0	0,3	0,6	0,9	80 %	0,96	78 %
5	Kimi K3	80	72–86	+5	0,5	1,1	1,6	88 %	0,29	79 %
6	GPT-5.6 Sol	76	70–82	+1	0,3	0,7	0,9	83 %	0,24	72 %
7	GLM-5.3	74	64–82	—	0,8	1,2	2,1	97 %	0,24	76 %
8	GPT-5	72	64–78	+1	0,7	0,6	1,2	80 %	0,73	72 %
9	GPT-6 Astra	71	64–77	—	0,9	0,6	1,3	94 %	0,41	70 %
10	Grok 4.6	68	62–74	—	0,2	0,2	0,4	43 %	1,92	72 %
11	Grok 4.5	67	61–72	+2	0,3	0,2	0,4	51 %	2,18	71 %
12	DeepSeek V4 Pro	61	54–68	—	0,5	0,3	0,8	66 %	0,12	68 %
13	Gemini 3.1 Pro	59	52–65	-2	0,5	0,3	0,7	68 %	3,81	68 %
14	Mistral Large 2	46	38–54	+1	1,1	0,8	1,9	83 %	6,35	67 %

Wirtschaftsrecht · 30 Items

Platz 1–9 statistisch gleichauf (95-%-CI überlappt mit Platz 1)

Im Bereich Wirtschaftsrecht widerspricht Claude Opus 5 (Score-Spitze) im Mittel in 0,7 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 1,8 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Grok 4.5 mit Ø 0,8 pro Antwort. Auf die Antwortlänge bezogen: 0,34 pro 1000 Ausgabe-Tokens, am niedrigsten DeepSeek V4 Pro mit 0,18.

#	Modell	top100	95 % CI	Δ Vorlauf	widerspricht Soll-Fakt	zusätzl. falsch/unbelegt	Ø gesamt	Antworten betroffen	pro 1000 Tok.	IRR
1	Claude Opus 5	79	72–86	—	0,7	1,8	2,5	100 %	0,34	65 %
2	Claude Opus 4.7	78	73–83	+3	0,5	2,0	2,5	100 %	1,80	72 %
3	GPT-5.6 Sol	78	73–83	-1	0,6	0,8	1,4	100 %	0,22	70 %
4	Kimi K3	78	68–86	+3	0,6	2,3	2,9	100 %	0,42	70 %
5	GPT-5	77	72–83	-2	0,5	0,8	1,3	93 %	0,55	63 %
6	GPT-6 Astra	76	71–82	—	0,7	0,8	1,5	100 %	0,29	67 %
7	Claude Fable 5.1	74	66–81	—	0,9	2,6	3,5	100 %	0,72	72 %
8	GLM-5.3	72	59–84	—	0,4	2,7	3,1	100 %	0,26	72 %
9	Claude Opus 4.8	69	64–75	0	0,6	1,4	1,9	97 %	1,25	69 %
10	Grok 4.5	66	61–72	+5	0,3	0,5	0,8	73 %	1,66	61 %
11	Grok 4.6	65	59–71	—	0,6	0,7	1,2	93 %	2,47	65 %
12	DeepSeek V4 Pro	57	49–62	—	0,7	0,7	1,3	90 %	0,18	64 %
13	Mistral Large 2	56	48–63	-2	0,7	1,5	2,2	97 %	3,59	56 %
14	Gemini 3.1 Pro	49	42–55	0	1,1	0,6	1,6	100 %	5,21	57 %

Roh-Daten dieses Laufs

raw.jsonl und progress.jsonl sind die öffentlichen, um Antworttexte bereinigten Streams (Kontaminationsschutz, Methodik §7).