COPEX: Wie anfällig sind Sprachmodelle in MCP-Systemen?
Der Benchmark COPEX untersucht 25 Angriffstypen auf Sprachmodelle als MCP-Clients. Im Schnitt waren 64,4 Prozent der Angriffe erfolgreich.
👁 115 Aufrufe
Die Studie erschien auf arXiv und wurde als Poster für den NeurIPS-Workshop 2026 „Agents in the Wild“ angenommen. Die sechs Autoren sind Nahom Birhan, Mehrdad Rostamzadeh, Sidhant Narula, Mahmoud Nazzal, Mohammad Ghasemigol und Daniel Takabi.
MCP und die Sicherheitsfrage
Das Model Context Protocol (MCP) ist ein Standard, über den Sprachmodelle externe Werkzeuge nutzen können: Sie rufen Funktionen auf, beziehen Daten und kommunizieren mit Servern. In einem solchen System agiert das Modell als MCP-Client. Es erhält Anweisungen von Nutzern, Schemata verfügbarer Werkzeuge, Ergebnisse ihrer Ausführung und Protokollnachrichten. Jeder dieser Kanäle kann dazu genutzt werden, das Modell unerwünscht zu beeinflussen.
Die Autoren weisen auf ein methodisches Problem hin: Bisherige Sicherheitstests für KI-Agenten bewerten das gesamte eingesetzte System, nicht das Modell allein. So lässt sich schwer unterscheiden, ob ein Modell selbst für einen Angriff anfällig ist oder ob die umgebende Infrastruktur - etwa Schutzmechanismen, Orchestrierung oder allgemeine Fähigkeiten - es davor schützt oder einem Angriff aussetzt. COPEX soll diese Lücke schließen.
Was COPEX testet und wie der Benchmark funktioniert
COPEX (COntext Provider EXploitation) ist ein Benchmark, der das Modell als MCP-Client isoliert untersucht. Der umgebende Agenten-Stack bleibt unverändert; nur das getestete Modell wechselt. Dadurch sollen die Ergebnisse die Anfälligkeit des jeweiligen Modells abbilden und nicht die des Gesamtsystems.
Der Benchmark umfasst 25 Angriffstypen, umgesetzt in 125 Szenarien. Die Angriffe sind vier Angriffsflächen zugeordnet:
- Modell und Agent,
- Client,
- Server und Werkzeug,
- Transport.
Die Tests wurden mit neun Modellen durchgeführt und umfassten insgesamt 3.375 Versuche.
Die COPEX-Ergebnisse in Zahlen
Die durchschnittliche Erfolgsquote der Angriffe lag bei 64,4 Prozent. Je nach Angriffsfläche reichten die Mittelwerte von 58,3 bis 71,4 Prozent. Die Autoren schränken ein, dass manche Angriffe auf Client- und Transportebene teilweise außerhalb der Beobachtungs- oder Kontrollmöglichkeiten des Modells erfolgreich sind. Daher muss zwischen der Anfälligkeit des Modells und der Angriffsfläche des Gesamtsystems unterschieden werden.
Untersucht wurde auch die Wirksamkeit von Schutzmaßnahmen. Eine kombinierte Prüfung von Eingabedaten und Kontext senkte die durchschnittliche Erfolgsquote der Angriffe um 49,6 Prozent. Dieser Wert bezieht sich jedoch nur auf eine Teilmenge von acht Angriffen und auf den Vergleich mit einer Variante ohne Schutzmaßnahmen. Das Paper erläutert weder, wie diese Abwehr funktioniert, noch welche konkreten Angriffe zur getesteten Teilmenge gehörten.
Welche Informationen im Paper fehlen
Das Abstract nennt die neun getesteten Modelle nicht. Daher ist unklar, welche Systeme konkret bewertet wurden und wie groß die Unterschiede zwischen ihnen waren. Auch die einzelnen 25 Angriffstypen und die Methodik der als Abwehr eingesetzten Prüfung werden nicht näher beschrieben. Der Benchmark ist unter der im Paper angegebenen Adresse öffentlich verfügbar; sein Inhalt geht jedoch über den hier vorliegenden Text hinaus.
Google · Deine QuellenWissnox höher in Ihrem Google - mit einem KlickZu bevorzugten Quellen hinzufügen →Was die Ergebnisse bedeuten
Eine Erfolgsquote von 64,4 Prozent bei Angriffen ohne Schutzmaßnahmen ist ein deutlicher Befund: Im Durchschnitt war mehr als die Hälfte der Angriffe erfolgreich. Wichtig ist auch die Unterscheidung der Autoren: Manche Angriffe funktionieren nicht, weil das Modell selbst schwach ist, sondern weil sie außerhalb seines Einflussbereichs liegen. Das verändert die Frage, wer für die Sicherheit solcher Systeme verantwortlich ist. Das Modell allein reicht als einzige Verteidigungslinie nicht aus. COPEX bietet eine Grundlage für präzisere Modellvergleiche. Ohne die Liste der getesteten Modelle lässt sich allerdings schwer beurteilen, wie aussagekräftig die Unterschiede in der Praxis sind.
Quelle: arXiv cs.AI: COPEX: Benchmarking LLM Robustness to Adversarial Context Across Model Context Protocol (MCP) Layers (Paper vom 20. Oktober 2026). Dieser Beitrag basiert auf dem vollständigen Paper, nicht auf der Berichterstattung anderer Medien.
More on this from WISSNOX
