Chatbot-Halluzination: US-Militäroperation fast ausgelöst

👁 117 Aufrufe

Im Frühjahr dieses Jahres waren amerikanische Militärflugzeuge bereits in der Luft, als sich herausstellte, dass der Geheimdienstbericht, auf dem eine bewaffnete Operation gegen ein chinesisches Schiff basierte, von einem Chatbot erfunden worden war. Die Operation wurde in letzter Minute abgebrochen. Die gesamte Episode beschrieb CNN am Freitag, und der Bericht von TechCrunch sollte nicht als Anekdote über das Versagen eines einzelnen Analysten gelesen werden, sondern als Beschreibung eines konkreten Verfahrensfehlers mit eigener Arithmetik.

Laut der Quelle fragte ein Analyst des Special Operations Command einen Chatbot, Daten aus offenen Quellen mit klassifizierter Signalaufklärung zu synthetisieren. Das Modell interpretierte das Frachtmanifest des Schiffes falsch und kam zu dem Schluss, dass sich an Bord Komponenten für ein Atomwaffenprogramm befänden. Dann verwendete derselbe Analyst das Tool ein zweites Mal - diesmal, um die falschen Schlussfolgerungen in eine Zusammenfassung zu formatieren, die wie ein offizielles Dokument aussah. Und genau dieser zweite Schritt ist in der ganzen Geschichte am gefährlichsten, denn die Halluzination erhielt eine Verpackung, die in den Kommandokanälen wie ein Geheimdienstprodukt gelesen wird.

Wie viele falsche Berichte eine Kontrollstufe passieren

Ich habe eine einfache Rechnung aufgestellt, die jeder auf einem Blatt Papier wiederholen kann. Nehmen wir zwei Parameter an. Der erste ist der Anteil der Antworten, die falsche Aussagen enthalten, bei Aufgaben zur Zusammenfassung und Verknüpfung von Dokumenten. In öffentlichen Halluzinations-Rankings bei der Dokumentenzusammenfassung kommen die besten Modelle unter zwei Prozent, aber die Streuung im gesamten Feld reicht von etwa einem Prozent bis zu über zehn Prozent - die Zusammenstellung von Vectara zeigt dies am besten, und Tests basierend auf Wissensfragen wie SimpleQA ergeben für viele Modelle mehrere Dutzend Prozent falsche Antworten auf faktische Fragen. Die Aufgabe aus dem beschriebenen Vorfall - das Zusammenfügen offener Daten mit Signalinformationen und das Ziehen einer Schlussfolgerung über die Fracht - liegt näher an der zweiten Kategorie als an der Zusammenfassung einer Textseite. Ich habe konservativ fünf Prozent angenommen.

Der zweite Parameter ist die Wirksamkeit der menschlichen Verifikation. Nehmen wir an, dass ein Analyst oder sein Vorgesetzter drei von vier Fehlern erkennt, also mit einer Effektivität von 75 Prozent arbeitet. Diese Annahme ist großzügig, da sie ein Dokument betrifft, das selbst professionell aussieht und aus der eigenen Abteilung stammt. Bei diesen Zahlen enthalten von tausend Berichten fünfzig einen Fehler, von denen zwölfeinhalb durch eine Kontrollstufe weitergehen. Zwölf falsche Berichte pro tausend - das ist einer von achtzig. Erst das Hinzufügen einer zweiten, unabhängigen Verifikationsstufe mit derselben Effektivität bringt dieses Ergebnis auf drei pro tausend herunter, und eine dritte auf knapp einen.

Die Schlussfolgerung aus dieser Rechnung ist brutal einfach: In einer Kette, in der von tausend analytischen Produkten ein Dutzend erfundene durchkommen, ist ein Vorfall wie der vom Frühjahr kein Unfall, sondern Statistik. Die Frage ist nicht, ob es passiert, sondern nach wie vielen tausend Anfragen. Wenn in einem bestimmten Kommando Modelle zehntausend analytische Anfragen pro Jahr bearbeiten - eine völlig realistische Zahl bei einem über den Browser zugänglichen Tool - dann haben wir bei meinen Annahmen hundertfünfundzwanzig fehlerhafte Produkte pro Jahr, die die erste Kontrolle passieren.

Kritischer Kontext betrifft nicht nur das Militär: Gerichte und Medizin haben bereits ihre Rechnungen

Die militärische Ebene ist am spektakulärsten, aber nicht die erste. In der Justiz haben wir bereits gezählte Fälle: Eine Datenbank, die seit 2023 vom französischen Anwalt Damien Charlotin geführt wird, hat über tausend Urteile aus der ganzen Welt gesammelt, in denen das Gericht feststellte, dass sich ein Anwalt auf nicht existierende Urteile oder fabrizierte, von einem Modell generierte Zitate berufen hat - das Register ist öffentlich und wird aktualisiert. Der bekannteste Fall betrifft nicht einen Anwalt, sondern die Reaktion des Gerichts: Im Fall Mata gegen Avianca in New York bestrafte Richter P. Kevin Castel zwei Anwälte mit jeweils fünftausend Dollar Geldstrafe.

Studien zur Zusammenfassung von Dokumentation und Transkription von Konsultationen zeigten, dass auf Modellen basierende Tools Aufzeichnungen um ganze Sätze ergänzen, die niemand ausgesprochen hat - ein Phänomen, das u.a. bei Analysen von Whisper beschrieben wurde, wo in einem Teil der untersuchten Transkriptionen völlig erfundene Fragmente auftauchten. Ein Mechanismus, drei verschiedene Branchen: Das Modell generiert Inhalte, die wie das Produkt eines Experten klingen, und diese werden wie das Produkt eines Experten behandelt.

„Es ist wichtig, dass Soldaten die Unsicherheit verstehen, die in der Natur von Sprachmodellen liegt. Aber besonders kritisch ist dies bei allen Entscheidungen, die zur Anwendung von Gewalt führen können - bei der Zielerfassung, Geheimdienstanalyse oder operativen Planung. Diese Entscheidungen haben Konsequenzen in Form von Leben und Tod“ - Jake Steckler, Forscher bei GovAI und ehemaliger Offizier der US-Armee, in einer schriftlichen Antwort für TechCrunch.

Steckler fügt dabei etwas hinzu, das leicht übersehen wird: Seiner Meinung nach sollte der Vorfall ein Argument für das Hinzufügen von Sicherheitsvorkehrungen sein, nicht für den Verzicht auf Tools. Das Tempo der Implementierung über alles zu stellen, wird zu Ereignissen führen, die das Vertrauen der Soldaten in diese Systeme untergraben, und das wird letztendlich die Implementierung selbst verlangsamen.

Zwei Geschwindigkeiten, die sich ausschließen

Das Pentagon spricht offen über KI als Tool zur Beschleunigung der Angriffskette, damit Kommandeure im richtigen Moment reagieren können. Das Problem ist, dass es dieselbe Geschwindigkeit ist, die es einer Halluzination ermöglicht, durch die Kommandokanäle zu gehen, bevor jemand nach der Quelle fragt. Die Gegenüberstellung dieser beiden Ziele in einer Tabelle zeigt, dass dies nicht zwei Aspekte desselben Prozesses sind, sondern zwei gegensätzliche Zielfunktionen.

Die letzte Zeile dieser Tabelle ist meine Rechnung vom Anfang des Textes. Der Unterschied zwischen zwölf und drei falschen Berichten pro tausend ist der Preis, den man für die zweite Kontrollstufe zahlt - und die einzige Zahl, die man der Person zeigen sollte, die über das Verfahren entscheidet. Denn in Bezug auf die Zeit bedeutet diese zweite Stufe eine Verzögerung von einigen Stunden, und in Bezug auf das Risiko eine Verringerung der Anzahl von Ereignissen vom Typ „Flugzeuge bereits in der Luft“ um drei Viertel.

Es gibt in dieser Geschichte kein Argument dafür, Sprachmodelle aus der Analytik zu verbannen. Es gibt jedoch ein sehr starkes Argument dafür, sie wie ein Tool mit einem bekannten, messbaren Fehlerkoeffizienten zu behandeln - so wie das Militär jeden anderen Sensor behandelt. Ein Radar hat eine bestimmte Wahrscheinlichkeit für Fehlalarme, und niemand feuert eine Rakete nach einer einzigen Reflexion ab. Ein Sprachmodell hat auch einen solchen Koeffizienten, nur hat ihn niemand in die Anleitung geschrieben.

Eine praktische Konsequenz: Niemals dasselbe Modell für Formatierung verwenden

Die praktische Konsequenz für jeden, der mit Dokumenten in öffentlichen Institutionen, im Militär oder in Rüstungsunternehmen arbeitet, ist eine und ergibt sich aus dem, was der Analyst im beschriebenen Vorfall beim zweiten Mal tat. Verwenden Sie niemals ein Modell zur Formatierung von Ergebnissen, die dasselbe Modell generiert hat. Wenn ein Chatbot Inhalte erstellt hat, entfernt seine nächste Aufgabe - ihm das Aussehen eines offiziellen Dokuments zu geben - das letzte Warnsignal, das der rohe, chaotische Output war. Die Trennung dieser beiden Operationen zwischen verschiedenen Tools und verschiedenen Personen kostet nichts und ist die billigste Sicherheitsvorkehrung, die noch heute eingeführt werden kann.

Es gibt in dieser Geschichte kein Argument dafür, Sprachmodelle aus der Analytik zu werfen. Es gibt jedoch ein sehr starkes Argument dafür, sie wie ein Werkzeug mit einem bekannten, messbaren Fehlerkoeffizienten zu behandeln - so wie das Militär jeden anderen Sensor behandelt. Ein Radar hat eine bestimmte Wahrscheinlichkeit für Fehlerkennungen, und niemand feuert eine Rakete nach einer einzigen Reflexion ab. Ein Sprachmodell hat auch einen solchen Koeffizienten, nur hat ihn niemand in die Anleitung geschrieben.

Fakten geprüft am 20. September 2026. Quellen: TechCrunch über den Vorfall, Halluzinations-Ranking von Vectara, Datenbank von Gerichtsurteilen mit erfundenen Zitaten, NATO-KI-Strategie und Prinzipien für verantwortungsvolle Nutzung. Eigene Berechnungen basierend auf den im Text genannten Annahmen.

// weiterlesenIrland zahlt fuer meinen Chatbot-Spass die Stromrechnung - und keiner spricht darueberTechnikWarum eine tiefe Bindung an KI-Chatbots psychische Risiken verstärktGeistKinder und Chatbots: Meta AI ist immer da, wenn Erwachsene fehlenMagazin

Kinetyra