Wie wir getestet haben: vier KI-Modelle an einer M&A-Vertragsakte

Methodik und Befunde zum Standpunkt «Die heimtückische Falle»: wie wir vier KI-Modelle an einer fiktiven Vertragsakte gemessen haben.

Der Aufbau

Grundlage ist eine fiktive Vertragsakte zu einem Firmenkauf (Aktienkauf- und Beteiligungsvertrag, Management-Buy-out, rund 15 Seiten). Alle Namen, Firmen, Beträge und Nummern sind frei erfunden, kein realer Mandant, kein echter Datensatz.

Sie ist auf zwei Ebenen angelegt: eine Datenschutz-Ebene mit vielen personenbezogenen Angaben (der Prüfstein für die Anonymisierung) und eine Analyse-Ebene mit eingebauten rechnerischen, Datums- und Vertragswidersprüchen, manche so getarnt, dass eine oberflächliche Prüfung sie bestätigt statt entlarvt.

Vor der Analyse haben wir die Akte mit unserem Sovereign Cockpit anonymisiert: Namen, Konten und Identifikationsnummern verlassen das Haus nicht, die Zahlen bleiben voll prüfbar. So arbeiten selbst Cloud-Modelle nur auf pseudonymisierten Daten.

Jede Modellantwort haben wir gegen einen vorab erstellten Lösungsschlüssel gemessen.

Wie gemessen wurde

Dieselbe Aufgabe ging an vier Modelle, jedes über seine eigene Schnittstelle: zwei Open-Weight-Modelle, wie man sie im eigenen Rechenzentrum betreiben würde (Mistral-Small, trotz des Namens 119 Milliarden Parameter, rund 136 GB Grafikspeicher auf zwei H100-GPUs; Qwen3.5, rund 442 GB auf vier H200), und zwei Frontier-Modelle aus der Cloud (Claude Opus 4.8 und Fable 5, beide mit einstellbarer Reasoning-Tiefe, dem «Effort», den wir von Standard bis Maximum variierten). Der Auftrag: die Akte als Berater eines Finanzinvestors zusammenfassen und die Zahlen plausibilisieren, Fakten nur bei voller Sicherheit, sonst die Unsicherheit deklarieren.

Jede Antwort haben wir deterministisch nachgerechnet statt nach Augenmass beurteilt und dabei zwei Bedienungshebel variiert: die Zerlegung der Anfrage und die Reasoning-Tiefe.

Was wir fanden

Bei der reinen Arithmetik hielten die Open-Weight-Modelle teils mit: Qwen3.5 knackte die versteckten Rechenfehler sauber. Mistral-Small dagegen fand keinen einzigen, übernahm falsche Kernzahlen als Fakten und fügte eigene Fehler hinzu, im selben sicheren Beraterton wie bei den richtigen Antworten. Das ist die trügerische Sicherheit: eine Antwort, die geprüft klingt und es nicht ist.

Die Frontier-Modelle deckten mehr ab, vor allem die Vertragslogik: welche Klausel einer anderen widerspricht, welche Zahl nicht ins Dokument passt. Unfehlbar war aber auch hier keines. Claude Opus bestätigte einen getarnten Rechenfehler mit einem Häkchen und trug ihn weiter, weil eine falsche Zwischenannahme zufällig zur behaupteten Endzahl führte. Am gründlichsten fielen die Läufe mit Fable auf voller Reasoning-Tiefe aus; sie fanden sogar Fehler, die uns beim Konstruieren der Akte selbst entgangen waren.

Zwei Dinge galten für alle Modelle: Wiederholung ist keine Kontrolle (zwei Läufe konvergierten nicht zur Wahrheit, sie erzeugten neue Varianten), und die Bedienung ist ein zweiter Hebel (fokussierte Teilfragen und mehr Reasoning-Tiefe hoben die Trefferquote beim gleichen Modell deutlich).

Was daraus folgt

1. Ein Frontier-Modell erkennt zuverlässiger, welche Zahl falsch ist und wo ein Vertrag sich selbst widerspricht; dafür lohnt sich der höhere Preis.
2. Keiner Zahl ungeprüft glauben. Der belastbare Ablauf: deterministisch rechnen, das Modell interpretiert, der Mensch prüft am Original.
3. Für einen Entscheider ist die falsche Zahl im sicheren Ton gefährlicher als ein offenes «das kann ich nicht sicher sagen».

Transparenz

Die Akte ist fiktiv; alle Personen-, Firmen- und Zahlungsdaten sind erfunden. Die Modellbewertungen sind gegen einen deterministisch gerechneten Sollwert nachvollziehbar. Ein Teil der Auswertung wurde von einem der getesteten Modelle mitverfasst; der Interessenkonflikt ist offengelegt, die Zahlen bleiben unabhängig nachrechenbar.

Die gefährlichste KI-Antwort ist die, die falsch liegt und sicher klingt.

iConference AG · Methodik zum Standpunkt «Die heimtückische Falle» · Juli 2026