Die heimtückischste Falle bei KI-Antworten: Sie klingen absolut überzeugend, sind inhaltlich aber falsch

Wir haben vier Sprachmodelle an dieselbe Aufgabe gesetzt: eine Vertragsakte zu einem Firmenkauf prüfen und die Zahlen plausibilisieren. Der Prompt war streng, Fakten nur bei voller Sicherheit, sonst die Unsicherheit deklarieren. Was uns am meisten über KI im Betrieb gelehrt hat, war, wie überzeugend das schlechteste Modell danebenlag.

Der Test. Die fiktive Testakte ist bewusst konstruiert: rund 15 Seiten, gespickt mit eingebauten Fehlern, Rechenfehler, Datumswidersprüche und sich widersprechende Vertragsklauseln, dazu ein Lösungsschlüssel, gegen den wir jede Antwort messen konnten. Bevor die Akte an die Modelle ging, haben wir sie mit unserem Sovereign Cockpit anonymisiert: Namen, Konten und Nummern verlassen das Haus nicht, die Zahlen bleiben prüfbar. Angetreten sind zwei Open-Weight-Modelle, wie man sie im eigenen Rechenzentrum betreibt (Mistral-Small, rund 136 GB Grafikspeicher; Qwen3.5, rund 442 GB), und zwei Frontier-Modelle aus der Cloud (Claude Opus 4.8 und Fable 5). Der Kostenunterschied pro Anfrage: rund 1,5 Rappen für Mistral, rund 12,7 Rappen für Opus.

Der gefährliche Fall. Von den rein rechnerisch prüfbaren Widersprüchen fand Mistral-Small keinen einzigen. Es übernahm falsche Kernzahlen als Fakten, genau gegen die Anweisung, und fügte eigene Rechenfehler hinzu. Das Ergebnis war flüssig, strukturiert und im sicheren Beraterton, und genau deshalb gefährlich: Es liest sich wie geprüft und ist es nicht. Ein sichtbares «das kann ich nicht sicher sagen» wäre ungleich hilfreicher gewesen.

Das starke Modell, ein blinder Fleck. Claude Opus schlug sich gut: Es fand die meisten echten Widersprüche und deklarierte seine Unsicherheiten sauber. An einer getarnten Rechnung setzte es aber ein Häkchen, «52 − 8,4 − 1,2 = 43,6 ✓», obwohl korrekt 42,4 herauskommt. Die Zwischensumme traf zufällig die im Vertrag behauptete Zahl, dort brach die Prüfung ab, ein Bestätigungsfehler, dem auch Sorgfalt aufsitzen kann.

Am gründlichsten war Fable auf voller Effort-Stufe: Es entlarvte die falsch gerechnete Kernzahl, fand mehrere Widersprüche, die anderen entgingen, und wies offene Punkte als solche aus. Aufschlussreich war Qwen3.5, das Open-Weight-Modell: Die reine Kaufpreis-Arithmetik rechnete es sauber, bei der Vertragslogik blieb es aber schmal und zählte eine Beteiligung doppelt, was die Finanzierungslücke zu klein erscheinen liess. Reines Rechnen beherrscht auch ein lokales Modell, aber die Zusammenhänge über die ganze Akte hinweg, wo eine Klausel der anderen widerspricht, erkannten nur die Frontier-Modelle.

Was den Unterschied macht, ist nicht der Ton, den hatten alle, sondern ob ein Modell seine Unsicherheit ausweist und über Abschnitte hinweg prüft statt Zahlen einzeln durchzuwinken. Und die Bedienung entscheidet mit: Ein Prompt mit vier Teilaufgaben überforderte selbst die starken Modelle; sobald wir die Anfrage zerlegten und den Effort erhöhten, stieg die Trefferquote deutlich. Wer diese Hebel nicht steuert, hält womöglich ein bedienungsbedingtes Ergebnis für ein modellbedingtes. (Details in Methodik und Befunde.)

Unser Standpunkt. Für eine anspruchsvolle Fachaufgabe wie diese führt kein Weg an einem Frontier-Modell vorbei, das Open-Weight-Modell im eigenen Rechenzentrum liefert hier nicht sicher genug, und es ist teuer. Das häufigste Gegenargument gegen Frontier ist die Datenhoheit. Das fällt weg: Man anonymisiert die sensiblen Daten lokal und lässt dann das Frontier-Modell rechnen. Das lokale Modell schleust, das Frontier-Modell denkt. So bekommt ein Betrieb beides, Spitzenleistung und Datenhoheit, ohne ein eigenes Rechenzentrum zu betreiben, das am Ende doch das schwächere Modell liefert. Vorausgesetzt, die Anonymisierung hält.

Und egal welches Modell: Zahlen gehören deterministisch nachgerechnet und am Original geprüft. Kein Modell, auch kein teures, ersetzt die letzte menschliche Kontrolle. (Die anonymisierte Testakte gibt es als PDF.)

Frag die KI nicht, ob sie sicher ist. Bau den Prozess so, dass ihre Sicherheit nichts beweisen muss.

Georges Leuenberger im Dialog mit Claude Opus 4.8 · Stand Juli 2026