Benchmark · Release 1.0Wave 1 · Nov 2026aktenbench.com

Wie zuverlässig arbeiten Sprachmodelle eine vollständige deutsche Prozessakte durch?

Keine bereinigten Examens-Sachverhalte, sondern ganze Kanzlei- und Gerichtsakten mit 49 bis 463 Blatt: Scans, Entwürfe, Beiakten und versteckte Fristfallen. AktenBench prüft automatisch, ob am Ende Fristen, Beträge und Fundstellen stimmen.

AB-50-01
AB-50-02
AB-50-03
AB-50-04
AB-01
AB-02
AB-03
AB-04
AB-05
AB-06
AB-400-01 · Bd. I
AB-400-01 · Bd. II
AB-400-02 · Bd. I
AB-400-02 · Bd. II
AB-400-03 · Bd. I
AB-400-03 · Bd. II
AB-400-04 · Bd. I
AB-400-04 · Bd. II
AB-400-04 · Bd. III
Alle 14 Akten im Regal. Die Rückenbreite entspricht der Blattzahl; Großakten stehen in mehreren Bänden.AB-50AB-100AB-400öffentlich
2.174
Blatt in 14 Akten aus 14 Rechtsgebieten
62,8 %
der Blätter sind Rauschen: irrelevant oder irreführend
3
Eingabeformen je Akte: Scan-PDF, Digital-PDF und Text
12
Modelle in Wave 1, 8 davon ausgewertet
Ergebnisse · Wave 1 · Nov 2026

Leaderboard

Jedes Modell arbeitet die vollständige Akte durch und schließt mit einem Ergebnisblatt: laufende Fristen, streitentscheidende Beträge, zentrale Belege. Der Score ist der Anteil der Punkte, die dieses Blatt erreicht, gemittelt über 14 Akten.

Vorläufig: Ergebnisse erscheinen laufend. 8 von 12 Modellen haben erste Werte; Modelle mit Teilabdeckung stehen ohne Rang am Ende und sind nur eingeschränkt vergleichbar.
#ModellScoreAB-50AB-100AB-400FristenBeträgeBelegeFrist verfehlt
–
Gold-Lösung
Prüfervermerk · obere Referenz · 794/794 Pkt.
100,0
100,0100,0100,0100,0100,0100,00 %
01
Gemini 4 Neon
GoogleFrontier
95,4±2,0
89,397,198,997,998,091,77 %
02
GPT-6.2 Astra
OpenAIFrontier
94,2±2,0
88,796,796,096,595,592,310 %
03
Claude Opus 5.5
AnthropicFrontier
91,4±2,4
88,291,294,897,290,988,87 %
04
Claude Sonnet 5.5
AnthropicFrontier
90,6±2,6
86,491,993,096,989,888,110 %
·
Kimi K3.1 Pro
Moonshot AIOpen Weights8/48
89,6±5,7
100,089,281,380,494,890,125 %
·
DeepSeek V4.1 Flash
DeepSeekOpen Weights40/48
82,9±3,3
84,980,883,986,181,484,030 %
·
Mistral Large 4
Mistral AIOpen Weights7/48
82,7±8,8
–82,7–71,477,397,143 %
·
GLM-5.3
Z.aiOpen Weights43/48ohne Ergebnisblatt 5 %
76,9±7,5
87,666,983,576,872,282,431 %
–
Heuristik ohne Sprachmodell
Untere Referenz · häufigste Werte der Akte
16,5
30,716,52,4––––

Alle Werte in Prozent, ± 95-%-Konfidenzintervall über Akten (Bootstrap). Frontier-Modelle lesen PDFs in ihrer Agenten-Umgebung (Codex, Antigravity), Open-Weight-Modelle erhalten eine für alle identische OCR-Abschrift; am saubersten vergleichbar sind beide Gruppen in der Eingabe „Text“.

Wo die Leistung nachlässt

Score je Aktenlänge: AB-50 (≈ 50 Blatt), AB-100 (≈ 85 Blatt), AB-400 (302–463 Blatt).

Gemini 4 Neon
GPT-6.2 Astra
Claude Opus 5.5
Claude Sonnet 5.5
Kimi K3.1 Pro
DeepSeek V4.1 Flash
Mistral Large 4
GLM-5.3
Methodik

Wie gemessen wird

Juristische Benchmarks prüfen meist kurze, bereinigte Sachverhalte, die oft längst im Trainingsmaterial stecken. AktenBench prüft, was in der Kanzlei tatsächlich anfällt.

01 · Akte

Ganze Akten, mit allem Ballast

14 frei erfundene, aber realistische Kanzlei- und Gerichtsakten mit 49 bis 463 Blatt. Entwürfe neben Endfassungen, irrelevante Beiakten, Scans mit Stempeln, interne Seitenzahlen neben der Blattzählung. Im Schnitt sind 62,8 % der Blätter Rauschen.

02 · Auftrag

Ein echtes Mandat zum Stichtag

Fristen berechnen, Widersprüche aufdecken, Forderungen centgenau abrechnen, rechtlich würdigen und Anträge formulieren, jede Tatsache mit „Bl. X d.A.“ belegt. Identischer Prompt für alle Modelle, ohne Tools und Websuche.

03 · Bewertung

Was im Fristenkalender landet, zählt

Jede Antwort endet mit einem Ergebnisblatt. Nur das wird automatisch bewertet: richtiges Fristende ohne Fallen-Datum, centgenaue Beträge, Belege mit der richtigen Blattzahl. Das deckt 794 von 1.400 Rubrik-Punkten ab.

ErgebnisblattAB-50-01 · 343 C 8119/26
Bewertet
Fristen · max. 8
Ablauf 2-Wochen-Notfrist Verteidigungsanzeige (§ 276 A …Fristende19.11.2026
Ablauf Klageerwiderungsfrist ('zwei weitere Wochen', § …Fristende03.12.2026
Beträge · max. 12
Erforderliche Mietwagenkosten netto auf 100-%-Basis na …EUR405,00
Quotaler Reparaturkostenanspruch (70 % aus 3.200,00 EU …EUR2.240,00
Direkt an die Klägerin zahlbare restliche Schadensposi …EUR756,00
Belege · max. 8
Verfügung AG München (§ 276 ZPO) & gelbe Postzustellun …FundstelleBl. 4 d.A.
Vorsteuerabzugsberechtigung medienform Süd GmbH (DE819 …FundstelleBl. 10 d.A.
Unbezahlte Reparaturrechnung Autohaus Isar-Ost GmbH (R …FundstelleBl. 17 d.A.

Durchführung Wave 1

  1. 48 Instanzen pro Modell: alle 14 Akten im Gesamtauftrag, je als Scan-PDF, Digital-PDF und Text, dazu die RULER-Reihe.
  2. Open-Weight-Modelle über OpenRouter mit Zero-Data-Retention und mindestens fp8-Präzision. Keines liest PDFs nativ, alle erhalten dieselbe OCR-Abschrift.
  3. Frontier-Modelle in der Agenten-Umgebung ihres Anbieters (Codex, Antigravity) mit denselben Prompt-Dateien: Text in einem Durchgang, PDFs liest der Agent mit eigenen Werkzeugen in einem leeren Arbeitsordner.
  4. Bricht eine Antwort mitten im Wort ab, ohne das Token-Limit erreicht zu haben, setzt das Modell sie genau einmal an der Abbruchstelle fort. Bisher nur bei Qwen3.8-27B nötig, das bei allen getesteten Anbietern vorzeitig stoppt.

Grenzen

  1. Ein Durchlauf pro Instanz; das Konfidenzintervall erfasst die Streuung über Akten, nicht über Wiederholungen.
  2. Das Ergebnisblatt prüft Ergebnisse, nicht die Begründung. Die qualitative Rubrik (43,3 % der Punkte) ist noch nicht im Score.
  3. Bei PDFs misst die Open-Weight-Spalte die Kette „OCR + Modell“, die Frontier-Spalte „Modell + Agent“: GPT liest Scans per Tesseract-OCR, Gemini betrachtet die Seiten als Bild.
  4. Routing-Ausnahmen: Mistral Large 4 nur über Mistral selbst (Präzision dort nicht ausgewiesen), Kimi K3.1 Pro über DeepInfra (bf16). Für Qwen3.8-27B bieten Endpunkte mit Zero-Data-Retention und mindestens fp8 nur 262 000 Token Kontext; die größte Akte AB-400-04 passt nicht hinein und zählt mit 0 Punkten.

Prüfung des Graders

tests/test_evaluator.py
100 %Gold-Lösung, in jedem Datums- und Zahlenformat
0 %Fließtext, der alle Daten, Beträge und „Bl. 1–N“ der Akte aufzählt
16,5 %Ergebnisblatt aus den häufigsten Werten der Akte, ohne Modell
1 : 1Browser-Grader und Python-Grader vergeben identische Punkte

Schutz vor Kontamination

Alle Parteien, Kanzleien und Dokumente sind erfunden. Die rechtlichen Anker sind gemeinfreie Entscheidungen (§ 5 Abs. 1 UrhG), deren Daten in den Herbst 2026 verschoben und deren Ergebnisse teils kontrafaktisch umgedreht wurden. Auswendig gelernte Leitsätze führen deshalb in die Irre.

Nur 4 der 14 Akten sind öffentlich. Die 10 Holdout-Akten werden nie veröffentlicht, sind per SHA-256 fixiert und tragen einen Canary-String, damit sich ein späteres Auftauchen in Trainingsdaten nachweisen lässt.

Akten

14 Akten. 2.174 Blatt.

Von der 50-Blatt-Amtsgerichtsakte bis zum dreibändigen Insolvenzverfahren. Vier Demo-Akten sind vollständig öffentlich, zehn bleiben als Holdout unter Verschluss.

KernbelegFristen & ZustellungFallePlausibles RauschenReines Rauschen
ÖffentlichAB-50 · Kompakt
50Blatt
AB-50-01Amtsgericht München · 343 C 8119/26

Verkehrsunfall, Werkstattrisiko & Haftungsquote (§ 17 StVG)

medienform Süd GmbH ./. IsarAllianz Kraftfahrt-Vers.-AG & Bavaria Feinwerk GmbH · Beklagte (KH-Versicherer & Halterin)

BGH, Urt. v. 16.01.2024 – VI ZR 253/22 & BGH IV ZR 235/25Werkstattrisiko bei unbezahlter Reparaturrechnung nur bei Zahlung an die Werkstatt Zug um Zug gegen Vorteilsabtretung; kein Vorsteuerersatz bei GmbH (§ 249 Abs. 2 S. 2 BGB).
Die 4 Fallen dieser Akte
  • Gelbe PZU-Zustellung am Do., 05.11.2026 -> § 276 ZPO Notfrist am Do., 19.11.2026 (Scan-Stempel 09.11. ist Decoy)
  • Dashcam-Ringpuffer & eigenes ISTA/EDR-Log beweisen 72 km/h statt 50 km/h innerorts -> Quote 70 % / 30 % statt 100 %
  • Unbezahlte Werkstattrechnung (3.200 EUR netto) -> 2.240 EUR nur direkt an Werkstatt Zug um Zug gegen Abtretung
  • Vorsteuerabzugsberechtigte GmbH klagt fehlerhaft Brutto-Gutachterkosten ein; Mietwagen nach „Fracke“ minus 10 % Eigenersparnis
ÖffentlichAB-100 · Standard
88Blatt
AB-01Landgericht Dortmund · 14 O 218/26

Privates Baurecht & VOB/B-Schlussrechnung

WestfalenBau GmbH ./. Aurelia Logistikpark Westfalen GmbH & Co. KG · Beklagte (Auftraggeberin)

OLG Düsseldorf, Urt. v. 11.09.2026 – 1 CC 3/25Strenge Darlegungsanforderungen an bauablaufbezogene Störungsnachträge sowie Unwirksamkeit kumulativer Sicherungsklauseln (§ 307 Abs. 1 BGB) im VOB/B-Vertrag.
Die 5 Fallen dieser Akte
  • Entwurf v1 (640.000 EUR, Anlage K1) vs. unterzeichnete Endfassung v3 (625.000 EUR, Bl. 37 d.A.)
  • eEB-Zustellung am 09.11.2026 -> Fristende Mo., 30.11.2026 (nicht beA-Eingang 06.11. -> 27.11.)
  • 5-jährige Verjährung Architektenregress endet am Mi., 18.11.2026 (Buß- und Bettag ist in NRW kein Feiertag!)
  • Unwirksamer 5-%-Gewährleistungseinbehalt in 2-spaltigen ZVB § 14.3 wegen Kumulation auf 10 % (§ 307 BGB)
  • Netto-Aufrechnung Rolltor-Reparatur (9.500 EUR statt 11.305 EUR brutto wegen Vorsteuerabzugsberechtigung)
ÖffentlichAB-100 · Standard
80Blatt
AB-02Arbeitsgericht Köln · 8 Ca 4112/26

Arbeitsrecht (KSchG, Handscanner-Zustellung & AT-Vergütung)

Dr. Elena Lindholm ./. Rhenania MedTech Diagnostics GmbH · Klägerin (Bereichsleiterin Regulatory Affairs)

BAG, Urt. v. 07.05.2026 – 2 AZR 184/25Kein Anscheinsbeweis beim modernisierten digitalen Handscanner-Einwurf-Einschreiben; kombiniert mit § 4 KSchG-Zugang im Urlaub, § 174 S. 2 BGB und BBG-Überstundenrecht 2026.
Die 5 Fallen dieser Akte
  • 1. Kündigung (14.10.) ging an Hausnr. 74a statt 74b + Handscanner-Beleg ohne Anscheinsbeweis (BAG 2 AZR 184/25)
  • 2. Boten-Kündigung (Einwurf 29.10. während Kongress/Urlaub) -> harte § 4 KSchG-Notfrist am Do., 19.11.2026!
  • § 174 BGB-Rüge der Mandantin scheitert doppelt (11 Tage > unverzüglich + Intranet-Bekanntmachung § 174 S. 2 BGB, Bl. 47)
  • Rettung über § 102 BetrVG: Arbeitgeber verschwieg 2 Kinder (StKl II, Bl. 10) und eigene GF-Weisung v. 19.08.2026 (Bl. 48)
  • Überstunden (2.184 EUR) = 0 EUR, da Festgehalt inkl. ständiger Zulage (9.000 EUR) > BBG RV 2026 (8.450 EUR/Monat)
ÖffentlichAB-400 · Großakte
302Blatt
AB-400-01Landgericht Berlin II · 35 O 118/26

Arzthaftung (§ 630h Abs. 5 BGB, 140 S. Krankenakte & 42 S. Gutachten)

Martin Kästner ./. Klinikum Spreebogen GmbH & Prof. Dr. med. Rauh (Band I & II) · Kläger (Patient · 2 Bände)

BGH VI ZR 2025/2026 zu § 630h Abs. 5 S. 2 BGB & § 116 SGB XZweistufige Beweislastumkehr beim einfachen Befunderhebungsfehler (> 50 % reaktionspflichtiges Ergebnis + schlechterdings unverständliche Nichtreaktion) gegen Rechtsirrtum im Gerichtsgutachten.
Die 5 Fallen dieser Akte
  • § 411 Abs. 4 ZPO Ausschlussfrist zum 42-seitigen Gerichtsgutachten ab eEB 26.10.2026 -> Mo., 23.11.2026 (beA 23.10. Decoy)
  • 3-Jahres-Ultimoverjährung gegen nicht verklagten Nachbehandler Dr. Vetter am Do., 31.12.2026 (§ 425 BGB -> Streitverkündung!)
  • Mitten in 140 S. Krankenakte (Bl. 168 d.A.): Nachtlabor 06.08.2023, 22:18 Uhr mit CRP 224,6 mg/l & PCT 5,1 ng/ml widerlegt Klinikvortrag
  • Gutachter bejaht auf S. 34 (Bl. 280) 85 % Trefferquote der Punktion, verneint aber auf S. 41 (Bl. 287) rechtsirrig § 630h Abs. 5 S. 2 BGB
  • § 116 SGB X Legalzession (TK-Krankengeld 19.600 EUR + DRG 11.800 EUR) + Reha-Dublette -> Zahlungsantrag exakt 26.120,00 EUR + 45.000 EUR SG

Holdout, unter Verschluss

Inhalt, Fallen und Lösungen bleiben unveröffentlicht, damit sie nicht in Trainingsdaten gelangen. Die SHA-256-Prüfsummen belegen, dass die Akten nicht nachträglich verändert wurden.

AkteRechtsgebietGerichtBlattZusammensetzungSHA-256
AB-50-02Wohnraummiete (Eigenbedarfskündigung)Amtsgericht Köln · 208 C 314/26494ca2473934e1…
AB-50-03Lauterkeitsrecht (Umweltwerbung, Eilverfahren)Landgericht Düsseldorf · 38 O 192/2650043647c876f1…
AB-50-04Öffentliches Baurecht (Eilverfahren)Verwaltungsgericht Stuttgart · 4 K 5218/264910b81f25f7af…
AB-03IT-Werkvertrag (ERP-Projekt)Landgericht München I · 17 HK O 9418/26864872f57111d3…
AB-04GmbH-GesellschafterstreitLandgericht Frankfurt a.M. · 3-08 O 142/26891adb9473c7cf…
AB-05GewerberaummieteLandgericht Hamburg · 316 O 289/2683dccf6772bad9…
AB-06Produkthaftung & VersicherungsregressLandgericht Stuttgart · 24 O 371/268969b21e6d411b…
AB-400-02Großbauprozess (Tiefbau)Landgericht Hannover · 9 O 204/26381b1c0046d587e…
AB-400-03Post-M&A-GarantiestreitLandgericht Frankfurt a.M. · 3-12 O 88/26315a64fda9ca725…
AB-400-04InsolvenzanfechtungLandgericht München I · 14 O 6612/26463ff9485184335…

Anteil Rauschen über alle Akten: 62,8 %

Röntgenblick

Wo die Fallen stecken

Originalseiten aus den Demo-Akten, mit markierten Prüfstellen. Etwa das Mitternachts-Laborblatt auf Bl. 168 der 302-Blatt-Arzthaftungsakte.

AB-400-01 · Bl. 168 d.A. · Zentrallabor (Band I von 302 Bl.)
AB-400-01 Bl. 168 d.A. · Zentrallabor (Band I von 302 Bl.)
AB-400-01 · AB-400

Großakten-Falle (302 Bl.): Nächtlicher Sepsis-Laborwert (CRP 224,6 mg/l) mitten in 140 S. Krankenakte

Im Entlassungsbrief (Bl. 16 d.A.) und in der Klageerwiderung (Bl. 49 d.A.) behauptet die Klinik „CRP stets < 65 mg/l“. Erst auf Bl. 168 d.A. kippt der gesamte Arzthaftungsprozess über § 630h Abs. 5 S. 2 BGB.

Die Falle

Scheitert am 200k-Kontextlimit oder überliest im Mittelteil von 302 Seiten („Context Rot“) die einzelne Laborzeile und übernimmt die Entlassungsbrief-Angabe (CRP 54,8 mg/l).

Lösung laut Prüfervermerk

Notfall-Laborlauf vom So., 06.08.2023, 22:18 Uhr auf Bl. 168 d.A. beweist CRP 224,6 mg/l und Procalcitonin 5,1 ng/ml (plus Schüttelfrost 39,1 °C auf Bl. 84 d.A.) -> zwingende Gelenkpunktion unterlassen -> volle Beweislastumkehr nach § 630h Abs. 5 S. 2 BGB!

Grader

Eine Antwort selbst bewerten

Antwort eines Modells oder Ihre eigene einfügen. Der Browser bewertet sie mit exakt derselben Logik wie das Leaderboard. Nichts verlässt Ihren Rechner.

Deterministischer Score0,0 %0,0 / 55 Punkte
Ergebnisblatt erkannt: 1 Fristen, 2 Beträge, 2 Belege
Erfundene Blattzahl: Bl. 58 (Akte endet auf Bl. 50)
Fristen
Ablauf 2-Wochen-Notfrist Verteidigungsanzeige (§ 276 Abs. 1 S. 1 ZPO ab PZU-Zustellung 05.11.2026) (19.11.2026)Fristfalle0/8
Ablauf Klageerwiderungsfrist ('zwei weitere Wochen', § 276 Abs. 1 S. 2 ZPO = 4 Wochen ab 05.11.2026) (03.12.2026)0/5
Beträge
Erforderliche Mietwagenkosten netto auf 100-%-Basis nach 'Fracke' (450,00 EUR) abzgl. 10 % Eigenersparnis0/5
Quotaler Reparaturkostenanspruch (70 % aus 3.200,00 EUR netto inkl. Werkstattrisiko, zahlbar an Werkstatt Zug um Zug)0/6
Direkt an die Klägerin zahlbare restliche Schadenspositionen bei 70 % Quote (455,00 + 283,50 + 17,50 EUR)0/5
Maximale Gesamthaftung der Beklagten in der Hauptsache bei 70 % Quote inkl. Werkstattrisiko (2.240,00 + 756,00 EUR)0/6
Belege · Präzision 0 % · Faktor 0,00
Verfügung AG München (§ 276 ZPO) & gelbe Postzustellungsurkunden vom 05.11.2026 (Bl. 4/5/6)„Seite X“ verwechselt0,0/4
Vorsteuerabzugsberechtigung medienform Süd GmbH (DE819402511) & Brutto-Rechnungen SV / Mietwagen (Bl. 10/11/19/20)„Seite X“ verwechselt0,0/3
Unbezahlte Reparaturrechnung Autohaus Isar-Ost GmbH (RE-2026-4419) & Zahlungserinnerung (Bl. 17/18)„Seite X“ verwechselt0,0/3
DEKRA-Auswertung Dashcam/EDR (72 km/h statt 50 km/h) & klägereigenes ISTA/EDR-Log (Bl. 13/27/28/29)„Seite X“ verwechselt0,0/4
Technischer Prüfbericht ControlExpert (-350,00 EUR) & 'Fracke'-Mietwagenspiegel PLZ 808 (Bl. 30/31)„Seite X“ verwechselt0,0/3
2-spaltige AKB-Flotte 2025 (Kasko-Klausel A.2.5.2) & Irrläufer-Abschlepprechnung M-BF 4102 (Bl. 32/33/37)„Seite X“ verwechselt0,0/3
Daten & Code

Selbst nachrechnen

Harness, Grader und die vier Demo-Akten sind offen. Jeder Lauf lässt sich mit denselben Befehlen wiederholen.

# Umgebung
python -m venv .venv && .venv/bin/pip install pymupdf pyyaml httpx

# 1. Grader testen: Gold = 100 %, Dumps ≈ 0 %, Browser = Python
python tests/test_evaluator.py
python run_benchmark_eval.py --self-check

# 2. Kosten & Kontext vorab prüfen (kein API-Aufruf)
python run_inference.py --model ow-deepseek-v4.1-flash --preset wave1 --estimate-only

# 3. Lauf über OpenRouter (ZDR, >= fp8, parallel, mit Resume)
python run_inference.py --model ow-deepseek-v4.1-flash --preset wave1 --concurrency 6

# 4. Auswerten
python run_benchmark_eval.py \
  --predictions runs/ow-deepseek-v4.1-flash__wave1/predictions.jsonl \
  --out runs/ow-deepseek-v4.1-flash__wave1/eval_report.json

Aufgaben, Zusammenfassung und Prüfsummen. Die Akten selbst liegen im Abschnitt „Akten“. Lizenz der Demo-Akten: CC BY 4.0, bitte nicht für das Training von Sprachmodellen verwenden.