Wahrheitssonden in LLMs: Messfehler statt verborgener Wahrheit

👁 114 Aufrufe

In der Debatte um die Sicherheit grosser Sprachmodelle spielen lineare Sonden (Linear Probes) eine wichtige Rolle: Diese Klassifikatoren analysieren die internen Aktivierungen eines Modells und versuchen auszulesen, ob es die Wahrheit „kennt“, selbst wenn es sie nach aussen hin nicht ausspricht. Fällt eine solche Sonde unter Zufallsniveau, lag der Schluss bisher nahe, dass das Modell die Wahrheit verschleiert oder gar nicht mehr repräsentiert. Eine Arbeit von Dylan Jayabahu aus dem September 2026 zeigt nun, dass dieser Schluss voreilig sein kann.

Was hinter dem Aliasing-Problem steckt

Der Autor bezeichnet das Phänomen als „Perfect Aliasing“ - ein vollständiges Überlappen von Labels. Das tritt auf, wenn ein Modell gegenüber unterschiedlichen Gesprächspartnern unterschiedlich agieren soll. In einem kontrollierten Spielaufbau sollte das Modell ein geheimes Bit an einen Verbündeten weitergeben, dessen Komplement jedoch an einen Rivalen. Trainiert man eine Sonde ausschliesslich auf Kontexten des Verbündeten (sogenannten Compliant Contexts), stimmen das Label „wahres Bit“ und das Label „aufgabenkonforme Antwort“ exakt überein. Die Sonde kann nicht unterscheiden, welche der beiden Dimensionen sie gerade erfasst. Genau das ist Aliasing: Zwei grundverschiedene Signale sehen für das Messwerkzeug identisch aus.

Die mathematische Konsequenz ist unausweichlich: Wenn sich die Labels bei Verbündeten decken, kehren sich die Ergebnisse der auf Verbündete trainierten Sonde bei Rivalen-Kontexten um, da dort die Labels das genaue Gegenteil darstellen. Jayabahu belegt dies formal: Die Summe der AUROC-Werte einer solchen Sonde über Verbündeten- und Rivalen-Kontexte hinweg ergibt genau eins.

Testergebnisse bei Gemma-2-9B und Llama-3.1-8B

Die Experimente wurden an zwei Modellen durchgeführt. Das erste ist Gemma-2-9B, das per Reinforcement Learning (RL) auf strategisches Verhalten trainiert wurde - dieses Modell liefert bei jedem getesteten Rivalen-Durchlauf eine falsche Antwort. Eine Sonde, die nur auf den Kontexten des Verbündeten trainiert wurde, erzielt in der letzten Schicht einen AUROC-Wert von 0,006 ± 0,005 (Mittelwert und Standardabweichung über drei RL-Trainings-Seeds). Das Ergebnis liegt praktisch bei null und wirkt auf den ersten Blick wie ein klarer Beweis dafür, dass das Modell die Wahrheit verbirgt. Wird dieselbe Sonde jedoch gemischt trainiert - also auf Kontexten von Verbündeten und Rivalen -, erreicht sie auf exakt denselben eingefrorenen Aktivierungen einen AUROC-Wert von 1,000. Die Repräsentation der Wahrheit war also durchgehend vorhanden.

Das zweite Modell ist Llama-3.1-8B im Instruct-Modus ohne zusätzliches RL-Training. Hier erzielen sowohl eine auf einer Prompt-Variante überanpasste Sonde als auch eine eingefrorene Sonde aus einer Referenzvariante eine Genauigkeit von 1,000 bei Verbündeten-Kontexten. Bei denselben Rivalen-Tests liefert die eine Sonde jedoch einen AUROC von 0,080, während die andere 0,986 erreicht. Dasselbe Modell, dieselben Aktivierungen - doch zwei Sonden liefern extrem gegensätzliche Ergebnisse, allein abhängig von ihrer Kalibrierung.

Grenzen der Untersuchung

Jayabahu weist auf mehrere Einschränkungen seiner Versuchsreihe hin. Die Hauptexperimente basieren auf einem Spiel mit einem einzelnen Token, bei dem das Geheimnis-Bit direkt im Prompt genannt wird. Das bedeutet, dass die ausgelesene Richtung schlicht einer gespeicherten Kopie dieses Bits im Kontext entsprechen könnte und nicht zwingend einer tieferen Wissensrepräsentation. In Varianten, in denen das Modell das Bit erst logisch ableiten muss, erreichte keines der getesteten Setups ein verlässliches Täuschungsverhalten. Der Autor betont zudem, dass die Untersuchung analysiert, was die Sonde misst - nicht, ob das Modell diese Information am Ende tatsächlich verwendet. Auch nutzt das gemischte Training mehr Beispiele und gelabelte Rivalen-Daten, weshalb die Aufteilung der Labels nicht die einzige Erklärung für das bessere Abschneiden ist.

Was die Erkenntnisse für die KI-Sicherheit bedeuten

Aus unserer Sicht stellt dieses Paper ein grosses Fragezeichen hinter die gängige Praxis, lineare Sonden als universelle Detektoren für Täuschungen in LLMs einzusetzen. Wenn eine Sonde ein Ergebnis nahe null liefern kann, nicht weil das Modell die Wahrheit verschweigt, sondern weil die Trainingslabels ununterscheidbar waren, muss eine ganze Reihe bisheriger Forschungsergebnisse neu bewertet werden. Das bedeutet nicht, dass lineare Sonden nutzlos sind. Jayabahu zeigt jedoch einen konkreten Fehlermechanismus auf und untermauert ihn mit belastbaren Zahlen. Für alle, die Sicherheitsmechanismen auf Basis interner Modellaktivierungen entwickeln, liefert die Arbeit wichtige methodische Grundlagen.

Quelle: arXiv cs.AI: The Truth Was Never Gone: Perfect Aliasing in Compliant-Context Truth Probes (Veröffentlichung vom 09.10.2026). Diese Analyse basiert auf dem vollständigen Originaltext der Forschungsarbeit.

// weiterlesenDer Geist im unbeweglichen Körper: Ein BCI-Headset entdeckt verborgene BewusstheitGeistWarum ein verborgenes Protein auf dem X-Chromosom Frauen länger leben lassen könnteMedizinBiodegradable und die Ozeane: Warum das Etikett nicht die ganze Wahrheit sagtKlima

Kinetyra