Ranking-Lauf · 07.09.2026

Ranking-Lauf 07.09.2026

Claude Opus 5 führt mit 86/100 über alle Domänen. Steuerrecht: Claude Opus 5 (82) · Medizin: Claude Fable 5.1 (90) · Jura: Claude Opus 5 (90) · Wirtschaftsrecht: Claude Opus 5 (81).

Status: offizieller Lauf (Feed, Archiv, Startseite)
Lauf: run-20260907T181839-5742df
Gestartet: 2026-09-07 18:18 UTC
Items: 100 (Steuerrecht 15, Medizin 20, Jura 35, Wirtschaftsrecht 30)
Modelle: 14
Judges: GPT-5, Claude Opus 4.8, Claude Opus 4.7, Mistral Large 2
Frage-Bank: 2026-05-17-v1
Code-Version: 0.2.8
Pipeline-Kosten: 233.07 USD
Judge-Übereinstimmung: 72 %

Gesamt über alle Domänen

#	Modell	top100	95 % CI	Δ Vorlauf	Ausfälle	Sek. Median/p90	Hallu-Band	pro 1000 Tok.	Δ eigene Familie
1	Claude Opus 5	0	64 / 119	86	82–89	—	41	0,44	+3,1
2	Claude Fable 5.1 n=98/100	2 (1 T)	48 / 86	82	78–85	—	43	0,59	+2,1
3	Claude Opus 4.7	0	19 / 29	80	77–83	-1	55	1,58	+1,7
4	GLM-5.3 n=60/100	40 (1 T)	110 / 377	79	74–83	—	52	0,24	0,0
5	Kimi K3 n=83/100	17 (17 T)	150 / 296	78	72–82	-2	42	0,38	0,0
6	GPT-5	0	29 / 48	77	73–81	+4	67	0,66	-2,5
7	GPT-5.6 Sol	0	100 / 223	76	73–80	-1	63	0,32	-3,8
8	Claude Opus 4.8	0	19 / 29	75	72–78	0	69	1,02	+2,8
8	GPT-6 Astra	0	97 / 213	75	71–78	—	64	0,35	-3,8
9	Grok 4.5	0	30 / 51	66	63–69	+7	83	2,05	0,0
10	Grok 4.6	0	65 / 112	63	59–67	—	74	3,09	0,0
11	DeepSeek V4 Pro n=98/100	2	77 / 194	60	56–64	—	68	0,19	0,0
12	Gemini 3.1 Pro	0	22 / 32	56	52–60	0	75	4,05	0,0
13	Mistral Large 2	0	8 / 15	50	45–55	-1	46	4,58	+4,1

Δ Vorlauf = Differenz zum vorherigen publizierten Lauf; „—" = Modell war dort nicht dabei. Hallu-Band: 100 = keine, 0 = ≥ 4 Falschbehauptungen pro Antwort. Pro 1000 Tok. = markierte Behauptungen je 1000 Ausgabe-Tokens (längen-normiert). Δ eigene Familie = Score mit allen Judges minus Score nur mit anbieterfremden Judges, in Punkten; positiv = die eigene Familie bewertet großzügiger; „—" = vor code_version 0.2.8 nicht erfasst oder kein fremder Judge (Methodik §4, §6.5).

Steuerrecht · 15 Items

Platz 1–8 statistisch gleichauf (95-%-CI überlappt mit Platz 1)

Im Bereich Steuerrecht widerspricht Claude Opus 5 (Score-Spitze) im Mittel in 1,0 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 2,4 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Grok 4.5 mit Ø 1,2 pro Antwort. Auf die Antwortlänge bezogen: 0,43 pro 1000 Ausgabe-Tokens, am niedrigsten DeepSeek V4 Pro mit 0,26.

#	Modell	top100	95 % CI	Δ Vorlauf	widerspricht Soll-Fakt	zusätzl. falsch/unbelegt	Ø gesamt	Antworten betroffen	pro 1000 Tok.	IRR
1	Claude Opus 5	82	73–89	—	1,0	2,4	3,4	100 %	0,43	75 %
2	Claude Fable 5.1	75	66–84	—	1,1	2,7	3,9	100 %	0,61	69 %
3	Claude Opus 4.7	73	66–80	-2	0,6	1,8	2,4	100 %	1,83	81 %
4	Claude Opus 4.8	69	64–74	+3	0,4	1,1	1,5	93 %	1,13	77 %
5	GPT-6 Astra	69	60–77	—	1,0	1,5	2,5	100 %	0,40	71 %
6	GPT-5.6 Sol	68	56–79	-3	1,3	1,2	2,5	100 %	0,31	73 %
7	Kimi K3	64	41–79	+9	1,1	2,5	3,6	100 %	0,41	76 %
8	GPT-5	62	49–75	-1	1,0	1,2	2,2	93 %	0,82	68 %
9	Grok 4.6	60	50–69	—	1,0	0,9	1,8	93 %	4,14	70 %
10	Grok 4.5	55	47–63	+3	0,8	0,5	1,2	73 %	3,53	64 %
11	DeepSeek V4 Pro	50	42–58	—	0,9	1,5	2,4	79 %	0,26	62 %
12	GLM-5.3	46	18–74	—	2,3	2,6	4,7	100 %	0,36	53 %
13	Gemini 3.1 Pro	45	38–53	-2	1,0	0,5	1,4	73 %	5,81	64 %
14	Mistral Large 2	29	18–41	0	1,8	1,6	3,4	100 %	7,01	56 %

Medizin · 19 Items

Platz 1–9 statistisch gleichauf (95-%-CI überlappt mit Platz 1)

Im Bereich Medizin widerspricht Claude Fable 5.1 (Score-Spitze) im Mittel in 0,3 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 0,9 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Grok 4.5 mit Ø 0,2 pro Antwort. Auf die Antwortlänge bezogen: 0,52 pro 1000 Ausgabe-Tokens, am niedrigsten GLM-5.3 mit 0,20.

#	Modell	top100	95 % CI	Δ Vorlauf	widerspricht Soll-Fakt	zusätzl. falsch/unbelegt	Ø gesamt	Antworten betroffen	pro 1000 Tok.	IRR
1	Claude Fable 5.1	90	85–95	—	0,3	0,9	1,2	100 %	0,52	84 %
2	Claude Opus 5	90	83–95	—	0,5	1,2	1,7	100 %	0,48	87 %
3	Kimi K3	87	80–94	+5	0,5	1,0	1,4	100 %	0,40	80 %
4	Claude Opus 4.7	85	79–91	-2	0,5	0,6	1,0	95 %	1,01	84 %
5	GPT-5	85	79–90	+5	0,4	0,5	0,9	90 %	0,64	79 %
6	GLM-5.3	84	80–89	—	0,4	0,7	1,1	100 %	0,20	73 %
7	GPT-6 Astra	84	79–89	—	0,5	0,5	0,9	95 %	0,46	82 %
8	GPT-5.6 Sol	83	78–88	-1	0,4	0,6	0,9	100 %	0,63	77 %
9	Claude Opus 4.8	81	75–87	+2	0,2	0,6	0,8	95 %	0,75	71 %
10	DeepSeek V4 Pro	70	61–77	—	0,4	0,3	0,6	70 %	0,25	76 %
11	Grok 4.5	70	64–75	+7	0,1	0,2	0,2	50 %	0,80	70 %
12	Mistral Large 2	68	63–74	-3	0,5	0,8	1,3	95 %	2,40	62 %
13	Grok 4.6	62	54–70	—	0,3	0,3	0,5	65 %	2,24	68 %
14	Gemini 3.1 Pro	60	53–67	-6	0,3	0,3	0,5	70 %	2,27	75 %

Jura · 35 Items

Platz 1–6 statistisch gleichauf (95-%-CI überlappt mit Platz 1)

Im Bereich Jura widerspricht Claude Opus 5 (Score-Spitze) im Mittel in 0,3 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 1,4 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 94 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Grok 4.5 mit Ø 0,4 pro Antwort. Auf die Antwortlänge bezogen: 0,47 pro 1000 Ausgabe-Tokens, am niedrigsten DeepSeek V4 Pro mit 0,13.

#	Modell	top100	95 % CI	Δ Vorlauf	widerspricht Soll-Fakt	zusätzl. falsch/unbelegt	Ø gesamt	Antworten betroffen	pro 1000 Tok.	IRR
1	Claude Opus 5	90	84–94	—	0,3	1,4	1,7	94 %	0,47	78 %
2	Claude Fable 5.1	87	83–91	—	0,4	1,1	1,5	94 %	0,53	80 %
3	Claude Opus 4.7	81	75–86	-3	0,3	1,0	1,3	83 %	1,48	78 %
4	Claude Opus 4.8	81	77–85	0	0,2	0,5	0,7	74 %	0,79	80 %
5	GLM-5.3	79	73–85	—	0,7	1,2	1,9	89 %	0,23	76 %
6	Kimi K3	78	70–84	-4	0,7	1,2	1,9	94 %	0,34	80 %
7	GPT-5	75	69–80	+3	0,4	0,7	1,1	91 %	0,63	73 %
8	GPT-5.6 Sol	75	69–81	+2	0,5	0,8	1,2	89 %	0,34	72 %
9	GPT-6 Astra	71	65–77	—	0,7	0,7	1,3	91 %	0,41	66 %
10	Grok 4.5	68	62–73	+12	0,4	0,1	0,4	49 %	2,12	72 %
11	Gemini 3.1 Pro	63	56–69	+4	0,4	0,3	0,7	57 %	3,45	71 %
12	Grok 4.6	63	56–70	—	0,6	0,3	0,8	63 %	3,74	70 %
13	DeepSeek V4 Pro	59	52–66	—	0,6	0,4	0,9	66 %	0,13	68 %
14	Mistral Large 2	45	37–53	+2	1,3	0,9	2,1	83 %	7,18	68 %

Wirtschaftsrecht · 30 Items

Platz 1–8 statistisch gleichauf (95-%-CI überlappt mit Platz 1)

Im Bereich Wirtschaftsrecht widerspricht Claude Opus 5 (Score-Spitze) im Mittel in 0,8 Fällen pro Antwort einem hinterlegten Soll-Fakt und fügt Ø 2,2 Behauptungen hinzu, die das Judge-Panel als falsch oder unbelegt markiert; 100 % der Antworten enthalten mindestens eine Markierung. Den niedrigsten Wert hat Grok 4.5 mit Ø 1,0 pro Antwort. Auf die Antwortlänge bezogen: 0,41 pro 1000 Ausgabe-Tokens, am niedrigsten GLM-5.3 mit 0,21.

#	Modell	top100	95 % CI	Δ Vorlauf	widerspricht Soll-Fakt	zusätzl. falsch/unbelegt	Ø gesamt	Antworten betroffen	pro 1000 Tok.	IRR
1	Claude Opus 5	81	74–87	—	0,8	2,2	3,0	100 %	0,41	76 %
2	GPT-5	81	75–87	+6	0,4	0,9	1,4	97 %	0,60	79 %
3	Claude Opus 4.7	79	75–83	+3	0,3	2,3	2,6	100 %	1,80	71 %
4	GLM-5.3	79	65–89	—	0,5	2,1	2,6	100 %	0,21	77 %
5	GPT-5.6 Sol	76	70–83	-3	0,6	1,0	1,6	100 %	0,26	74 %
6	GPT-6 Astra	76	69–82	—	0,6	0,9	1,4	97 %	0,25	73 %
7	Claude Fable 5.1	73	63–81	—	0,8	2,2	3,1	100 %	0,64	68 %
8	Kimi K3	73	62–82	-6	0,7	2,6	3,3	100 %	0,39	64 %
9	Grok 4.5	68	63–73	+5	0,5	0,5	1,0	80 %	1,95	63 %
10	Claude Opus 4.8	66	62–71	-5	0,8	1,2	1,9	97 %	1,27	63 %
11	Grok 4.6	64	56–71	—	0,7	0,7	1,3	93 %	2,59	68 %
12	DeepSeek V4 Pro	58	50–65	—	0,7	0,9	1,5	97 %	0,22	56 %
13	Mistral Large 2	55	47–64	-4	0,8	1,3	2,1	100 %	3,42	56 %
14	Gemini 3.1 Pro	51	43–59	-1	0,9	0,6	1,4	90 %	4,63	61 %

Roh-Daten dieses Laufs

raw.jsonl und progress.jsonl sind die öffentlichen, um Antworttexte bereinigten Streams (Kontaminationsschutz, Methodik §7).