KI-Agenten liefern falsche Antworten mit korrekten Zahlen - eine Prüfstudie
Eine neue Studie zeigt, dass KI-Agenten bei versteckten Belegen schlechter werden, dabei aber selbstsicher bleiben. Richtige Zahlen und erfundene Erklärungen können im selben Ergebnis auftauchen.
👁 114 Aufrufe
- KI-Agenten liefern in Due-Diligence-Prüfungen falsche strukturelle Behauptungen zusammen mit korrekten Zahlentabellen - wer nur die Zahlen prüft, erkennt den Fehler nicht.
- Luis M. Sánchez veröffentlichte am 14. September 2026 auf arXiv ein 28-seitiges Audit, das zeigt: Wenn Belege versteckt platziert werden, sinkt die Genauigkeit und die Kosten pro richtiger Antwort steigen.
- Sánchez fordert Belege auf Aussagenebene, bedingungsabhängige Bewertungsverfahren und menschliche Gegenprüfung - und will dasselbe Prüfmuster als nächstes auf Stabsarbeit im Verteidigungsbereich anwenden.
Am 14. September 2026 erschien auf arXiv ein Paper von Luis M. Sánchez mit dem Titel „Clean Scores, Buried Evidence, and Confident Wrong: A Receipt-Based Audit of Frontier Agentic QA“. Es umfasst 28 Seiten und 9 Abbildungen. Das zugrundeliegende Prüfarchiv ist eingefroren und öffentlich verlinkt. Der Autor ordnet seine Arbeit den Bereichen Information Retrieval, Künstliche Intelligenz, Sprachtechnologie und allgemeine Finanzwissenschaft zu.
Was wurde geprüft und wie
Sánchez führte ein kontrolliertes Audit in einer sogenannten Datenraum-Umgebung durch - also einem Setting, das der Prüfung von Unterlagen bei Unternehmenstransaktionen nachempfunden ist. Der konkrete Anwendungsfall ist Financial Due Diligence, also die finanzielle Sorgfaltsprüfung vor Geschäftsabschlüssen. Frontier-Modelle, also aktuell leistungsfähige KI-Systeme, wurden mit Dokumenten- und Diagramm-Leseaufgaben konfrontiert. Der entscheidende Eingriff: Die Belege wurden in sogenannte „buried conditions“ verschoben, das heißt, relevante Informationen wurden in den Unterlagen versteckt statt offen platziert.
Das Ergebnis dieses Eingriffs war vierfach: Die Genauigkeit sank, die Zahl der erzwungenen Aussagen stieg, die Zahl der Werkzeugaufrufe stieg, und die Kosten pro richtiger Antwort stiegen ebenfalls. Genaue Zahlenwerte für diese Veränderungen nennt das Abstract nicht - sie finden sich laut Papierstruktur in den 9 Abbildungen des Volltexts, auf den ich mich hier nicht stützen kann.
Das Kernproblem: Selbstsicherheit ohne Deckung
Der Autor beschreibt ein besonders heikles Muster: Konfidenzwerte und Benchmark-Kalibrierung erfassten falsche Antworten nicht vollständig. Im Klartext bedeutet das, dass ein Modell eine falsche Antwort mit hoher Sicherheit präsentieren kann, ohne dass die üblichen Messwerte Alarm schlagen.
Dazu kommt ein dokumentierter Produktionsvorfall, den Sánchez anführt: „fabricated structural claims can be mixed with accurate numeric tables“ - also erfundene strukturelle Behauptungen, die mit korrekten Zahlentabellen vermischt werden. Das Modell liefert in solchen Fällen richtige Zahlen und falsche Erklärungen in einem einzigen Ergebnis. Wer nur die Zahlen prüft, merkt den Fehler nicht.
Was der Autor fordert
Sánchez schlägt drei konkrete Anforderungen für agentenbasierte Auswertungen vor. Erstens: „claim-level receipts“, also Belege auf Aussagenebene - nicht eine Punktzahl pro Antwort, sondern eine Herkunftsangabe pro einzelner Behauptung. Zweitens: „condition-aware scoring“, also Bewertungsverfahren, die berücksichtigen, ob Belege offen oder versteckt lagen. Drittens: „human-adversarial verification“, also eine Überprüfung durch Menschen, die aktiv nach Fehlern suchen. Er nennt das ausdrücklich eine Prüfdisziplin, kein Leaderboard.
Die Verantwortungsfrage formuliert er deutlich: „the model is not a party to the consequences; the person who signs is“ - das Modell trägt keine Konsequenzen, die unterzeichnende Person schon. Daraus leitet er ab: „the burden of proof must therefore move from the model to the evidence trail“ - die Beweislast muss vom Modell weg zur Belegnachverfolgung hin verschoben werden.
Nächster Schritt laut Autor
Sánchez kündigt an, das gleiche Prüfmuster als nächstes auf Stabsarbeit im Verteidigungsbereich anzuwenden. Er schreibt, dass dort „the same buried-evidence shape appears“ - also dieselbe Struktur versteckter Belege auftritt. Weitere Details zu diesem geplanten Folgeschritt nennt das Paper nach Angabe des Abstracts nicht.
Google · Deine QuellenWissnox höher in Ihrem Google - mit einem KlickZu bevorzugten Quellen hinzufügen →Was bedeutet das
Ich halte diese Studie für methodisch wichtig, weil sie ein spezifisches Versagensmuster benennt, das in der öffentlichen Debatte über KI-Fehler kaum vorkommt: nicht das vollständig falsche Ergebnis, sondern das gemischte - korrekte Daten, erfundener Rahmen, hohe Selbstsicherheit. Gerade in Bereichen wie Finanzprüfungen oder militärischer Planung, wo Sánchez sein Modell testet und ausweiten will, ist dieses Muster besonders gefährlich, weil es schwer zu entdecken ist. Die Forderung nach belegbasierten Prüfspuren auf Aussagenebene klingt technisch, ist aber im Kern eine Forderung nach Rechenschaftspflicht - und die richtet sich an die Menschen, die KI-Ergebnisse unterschreiben, nicht an die Modelle selbst.
Quelle: arXiv cs.AI: Clean Scores, Buried Evidence, and Confident Wrong: A Receipt-Based Audit of Frontier Agentic QA (dokument z 2026-09-15). Diese Besprechung entstand auf Grundlage des vollständigen Dokumenttextes, nicht auf Basis von Medienberichten.
Häufig gestellte Fragen
Warum sind falsche KI-Antworten mit korrekten Zahlen besonders gefährlich?
Weil ein Modell erfundene strukturelle Behauptungen mit richtigen Zahlentabellen in einem einzigen Ergebnis mischen kann, ohne dass Konfidenzwerte oder Benchmark-Kalibrierung Alarm schlagen. Wer nur die numerischen Angaben kontrolliert, bemerkt den Fehler in der Erklärung nicht.
Was sind 'buried conditions' in der Studie von Sánchez?
'Buried conditions' bedeutet, dass relevante Informationen in den geprüften Unterlagen versteckt statt offen platziert wurden. Dieser Eingriff führte laut Studie dazu, dass die Genauigkeit sank, erzwungene Aussagen und Werkzeugaufrufe zunahmen und die Kosten pro richtiger Antwort stiegen.
Welche drei Anforderungen stellt Sánchez an agentenbasierte Auswertungen?
Er fordert erstens 'claim-level receipts' - also eine Herkunftsangabe pro einzelner Behauptung statt einer Punktzahl pro Antwort. Zweitens 'condition-aware scoring', das berücksichtigt, ob Belege offen oder versteckt lagen, und drittens 'human-adversarial verification', bei der Menschen aktiv nach Fehlern suchen.
Wer trägt laut Sánchez die Verantwortung für KI-Ergebnisse in Finanzprüfungen?
Die unterzeichnende Person, nicht das Modell - Sánchez formuliert es so: 'the model is not a party to the consequences; the person who signs is'. Daraus leitet er ab, dass die Beweislast vom Modell weg zur Belegnachverfolgung verschoben werden muss.
20 Jahre rätselhafte Radiosignale: Ein Vampirstern und sein Opfer liefern die AntwortWeltraum
Ein Mann fotografiert Jupiter mit einem Gameboy - und ich finde, das ist die beste Antwort auf den Megapixel-WahnTechnik
Der kognitive Fingerabdruck: Warum Ihre Antworten in Zeiten der KI nichts mehr wert sindGeistMore on this from WISSNOX
anleitungen·Wie ein Meme erstellen mit AI: Schritt für SchrittWie ein Meme erstellen mit Hilfe von KI - Schritt für Schritt, mit fertigen Prompts zum Kopieren und Hinweis, welches Tool man wählen sollte.