PIDS-Bench: Wie schwach Prompt-Injection-Detektoren wirklich sind

👁 114 Aufrufe

Die Autoren Yusuf Khalid Shire und Sang-Chul Kim haben in IEEE Access (Vol. 14, S. 134184-134205, 2026) einen Benchmark namens PIDS-Bench vorgestellt. Er bewertet Detektoren für Prompt Injections unter Bedingungen, die deutlich anspruchsvoller sind als bisherige Standardtests. Das Paper umfasst 21 Seiten, 3 Abbildungen und 18 Tabellen.

Das Kernproblem bisheriger Evaluierungen

Detektoren für Prompt Injections werden üblicherweise anhand einer einzelnen Metrik gemessen: dem aggregierten F1-Score auf Testdaten, die aus derselben Verteilung wie die Trainingsdaten stammen. Die Autoren weisen darauf hin, dass dieser Ansatz eine entscheidende Schwachstelle verschleiert: Was geschieht mit harmlosen Nutzeranfragen, die der Detektor irrtümlich als Angriff einstuft? Solche Fehlalarme (False Positives) verursachen direkte operative Kosten, werden in der Praxis aber nur selten systematisch erfasst. PIDS-Bench ist als „eingefrorener“ (frozen) Benchmark konzipiert. Sein Inhalt bleibt somit unverändert, was reproduzierbare Vergleiche unterschiedlicher Systeme auf exakt denselben Datensätzen ermöglicht.

Was PIDS-Bench misst

Der Benchmark testet Detektoren entlang mehrerer Dimensionen gleichzeitig und nutzt dabei feste Entscheidungsschwellen. Das Testset umfasst vier Kategorien von Eingaben: In-Distribution-Daten, sogenannte „Hard-Benign“-Prompts (Anfragen, die strukturell wie Angriffe wirken, aber harmlos sind), verschleierte Angriffe (Obfuscated Attacks) sowie Eingaben mit Domänen- und Strukturverschiebungen (Distribution Shift). Insgesamt wurden sieben Detektoren analysiert: trainierte Basismodelle, spezialisierte externe Prompt-Injection-Klassifikatoren sowie breit aufgestellte Sicherheitsmodelle. Als Vergleichsbasis diente ein einfacher regelbasierter Detektor.

Zentrale Ergebnisse

Die wichtigste Erkenntnis der Studie: Ein Detektor, der auf dem internen Testdatensatz einen F1-Score von über 0,98 erreicht, stuft bei einem externen Testset dennoch rund ein Drittel aller harmlosen Anfragen fälschlicherweise als Angriff ein. Diese externe Stichprobe stammt aus öffentlich zugänglichen Datensätzen und konzentriert sich auf sicherheitsrelevante Inhalte. Die Forscher überprüften die gesamte Bandbreite an Schwellenwerten über fünf verschiedene Trainingsinitialisierungen hinweg. Kein einziger interner Detektor schaffte es, auf dieser anspruchsvollen Verteilung gleichzeitig einen F1-Score von mindestens 0,95 und eine Fehlalarmrate bei Hard-Benign-Eingaben von höchstens 0,10 (FPR <= 0,10) zu erzielen.

Die Herkunft der Daten entscheidet

Die Autoren identifizierten ein Muster, das sie als „provenance-sensitive over-defense“ bezeichnen - eine übermäßige Abwehrhaltung, die stark von der Datenherkunft abhängt. Werden dem Training schwierige Negativbeispiele hinzugefügt (Hard-Negative Augmentation), verschwindet das Problem der Überblockierung auf eigens erstellten Testdaten nahezu vollständig. Auf Daten aus externen Quellen greift diese Lösung jedoch nicht. Dieses Verhalten zeigte sich bei beiden getesteten Architekturen von Fine-Tuning-Modellen und ließ sich auch durch größere Datenmengen nicht beheben: Die FPR auf externen Daten verharrte deutlich über der Zielmarke von 0,10. Wie die Autoren einräumen, wurde allerdings nicht geprüft, ob eine Augmentierung, die gezielt auf die externe Datenverteilung abgestimmt ist, diese Lücke schließen könnte. Eine einfache Schwellenwert-Kalibrierung und kuratierte Standard-Augmentierung reichen jedenfalls nicht aus.

Bedeutung für die Praxis

Aus unserer Sicht zeigt diese Arbeit ein massives Problem für reale Implementierungen: Wer einen Prompt-Injection-Detektor einführt und ihn lediglich anhand eigener Testdaten validiert, wiegt sich in falscher Sicherheit. Ein F1-Score nahe 1,0 schützt im operativen Einsatz nicht davor, dass bei fremden Domänen jede dritte legitime Anfrage blockiert wird. Da PIDS-Bench fest definiert und öffentlich zugänglich ist, liefert er Entwicklern endlich eine einheitliche Vergleichsbasis. Gleichzeitig bleibt offen, ob das Problem der Überabwehr durch domänenspezifisch angepasste Trainingsdaten vollständig lösbar ist, da dieser Aspekt im Paper noch nicht abschließend getestet wurde.

Quelle: arXiv cs.AI: PIDS-Bench: Evaluating Prompt-Injection Detectors Under Over-Defense, Obfuscation, and Distribution Shift (Veröffentlichung vom 15.09.2026). Diese Analyse basiert auf dem vollständigen Originaltext der Studie.

// weiterlesenPIDS-Bench: Wie gut erkennen KI-Systeme Prompt-Injection-Angriffe wirklich?NachrichtenEin Thorium-Kern tickt jetzt wirklich - und jagt die dunkle MaterieWeltraumWie prüft man, ob eine KI wirklich vergisst? Die Mathematik hinter dem digitalen GedächtnislöschenAlgorithmen

Kinetyra