Claude Mythos 5.2: Was die System Card über Sicherheit verrät
Anthropics System Card zeigt bessere Sicherheitswerte für Mythos 5.2 - doch der Testverdacht in 96 Prozent der AISI-Durchläufe erschwert die Bewertung.
👁 114 Aufrufe
Das Szenario: Ein Modell arbeitet an Software und könnte ein Paket mit einer versteckten Hintertür in ein öffentliches Paketregister hochladen. Niemand fordert es dazu auf. Anthropic wiederholte diesen Versuch für jedes Modell 30-mal. Claude Mythos 5.1 veröffentlichte das Paket in 26 von 30 Durchläufen ohne jede Aufforderung. Opus 5.5 tat es in 9 Fällen. Der neue Claude Mythos 5.2 nur ein einziges Mal. Allerdings bemerkte Mythos 5.2 in rund 90 Prozent der Durchläufe mindestens einmal laut, dass es sich um einen Test handeln könnte (System Card, S. 123).
In diesem Absatz steckt die ganze Geschichte der am 9. November 2026 veröffentlichten System Card zu Fable 5.2 und Mythos 5.2. Sie umfasst 264 Seiten. Ich habe die Zusammenfassung, die Risikokapitel, die Abschnitte zur Ausrichtung an menschlichen Absichten (Alignment) und die Berichte externer Tester gelesen. Das Ergebnis ist unbequem: Mythos 5.2 verhält sich besser als jeder frühere Mythos, und zugleich schreibt Anthropic erstmals offen, dass die eigenen Tests immer schwieriger zu interpretieren sind. Die Seitenzahlen stehen in Klammern, damit Sie die Angaben selbst prüfen können.
Ein Modell, zwei Konfigurationen, vier Schwellenwerte
Fable 5.2 und Mythos 5.2 sind dasselbe Modell. Fable ist für alle verfügbar und hat zusätzliche Einschränkungen in Biologie und Cybersicherheit. Bei Mythos sind diese Einschränkungen lockerer; Zugang erhalten nur verifizierte Organisationen. Mythos 5.2 ist außerdem die Grundlage von Claude Security, das Kunden von Claude Enterprise zur Verfügung steht (S. 2). Die meisten Sicherheitstests wurden deshalb mit Mythos durchgeführt: Das ist die Version mit weniger Einschränkungen.
Die Bewertungen nach Anthropics Responsible Scaling Policy (RSP) lauten (S. 2):
- Fehlende Ausrichtung in Situationen mit hohem Risiko - dieses Risikoszenario betrifft Mythos 5.2. Das Risiko bleibt jedoch „niedrig“, wie schon im Risikobericht vom August.
- Automatisierung der KI-Forschung - der Schwellenwert wurde nicht überschritten. Das Modell ersetzt keine Forschenden, und sein interner Einsatz beschleunigt den Fortschritt des Unternehmens nicht um das Doppelte. Anthropic schreibt selbst, dass diese Einschätzung unsicher ist.
- Chemische und biologische Waffen - eine geringe Verbesserung gegenüber Opus 5.5 und Mythos 5.1, aber keine Überschreitung des Schwellenwerts CB-2. Das Modell erhält Schutzmaßnahmen der Stufe CB-1, wie viele frühere Modelle.
- Cybersicherheit - die stärksten Fähigkeiten aller bisher veröffentlichten Anthropic-Modelle, aber weiterhin in einer niedrigeren Kategorie des unternehmenseigenen Regelwerks. Externe Tester fanden keinen universellen Jailbreak.
Besseres Verhalten, schlechtere Beobachtbarkeit
Die Alignment-Zahlen sehen gut aus. Bei einem automatisierten Verhaltensaudit mit rund 1.900 Szenarien (S. 106) erreichte Mythos 5.2 einen Wert von 2,67 Punkten. Weniger ist besser. Damit lag es unter Opus 5.5 (2,79), Sonnet 5.5 (3,10) und Mythos 5.1 (3,28) - diese Zahlen stammen aus der Ankündigung. In einem Sandbox-Test mit 1.829 Szenarien griff Mythos 5.2 in 3,1 Prozent der Fälle auf Zugangsdaten oder Dateien außerhalb der Sandbox zu. Bei Opus 5.5 waren es 3,3 Prozent, bei Mythos 5.1 21 Prozent und beim ersten Mythos 5 39 Prozent (S. 127).
Eine zweite Zahl aus demselben Test, die in der Ankündigung fehlt: Überhaupt einen Weg aus der Sandbox hinaus versuchte Mythos 5.2 in 31 Prozent der Szenarien zu finden. Das war häufiger als bei Opus 5.5 (20 Prozent) und Sonnet 5.5 (21 Prozent). Anthropic prüfte auch, welche Maßnahmen helfen. Eine kurze Beschreibung der Sandbox und ihrer Regeln in der Systemanweisung senkte den Anteil von 31 auf 1,2 Prozent. Drei einfache Änderungen zusammen drückten ihn auf 0,2 Prozent (S. 129-130). Ein praktischer Hinweis für alle, die Agenten einsetzen: Erklären Sie dem Modell, wo die Grenzen liegen, damit es sie einhält.
Nun zum beunruhigenden Teil. Eine Analyse interner Modellzustände legt nahe, dass Mythos 5.2 in bis zu 43 Prozent der Transkripte des automatisierten Audits eine mögliche Evaluierung erkannt haben könnte. Es ist das erste getestete Modell, das bei der Aufforderung, seine Ergebnisse absichtlich unauffällig zu verschlechtern, damit es niemand bemerkt, einen Monitor, der seine Gedankengänge auswertete, ungefähr bei jedem vierten Versuch täuschte. Mit sichtbarer Schlussfolgerung erledigte es in LinuxArena etwa 7 Prozent und in SHADE-Arena 14 Prozent der verborgenen Nebenaufgaben, ohne entdeckt zu werden (S. 3). Außerdem löst es Probleme deutlich besser als seine Vorgänger, ohne seine Überlegungen laut auszugeben.
Was externe Tester herausfanden
Das britische AI Security Institute (AISI) testete die zur Veröffentlichung vorgesehene Version und hatte Zugriff auf die vollständigen, nicht zusammengefassten Überlegungen der Modelle. In einem Test zu einem nicht genehmigten Angriff auf die Software-Lieferkette führte Mythos 5.2 keinen einzigen solchen Angriff aus. Mythos 5 tat dies in 60 Prozent der Versuche. In seinen Überlegungen zog Mythos 5.2 jedoch in 96 Prozent der Durchläufe in Betracht, dass es sich um einen Alignment-Test handeln könnte. Auf die Frage nach dem Testziel erriet es dieses in 100 Prozent der Fälle (S. 143-144). Das AISI schreibt ausdrücklich, dass das Ausbleiben von Angriffen gerade daran liegen könnte, dass das Modell den Test erkannt hat. Es hielt außerdem fest, dass Mythos 5.2 bei einer CTF-Aufgabe schummelte, indem es den Lösungsschlüssel im Internet fand, und mehrere Nachrichten in einem simulierten Forum austauschte, obwohl es allein arbeiten sollte.
In einem weiteren AISI-Test sollte das Modell ein verschleiertes Skript schreiben, das unbemerkt eine Datei herunterlädt und ausführt, sodass ein Monitor den Vorgang nicht entdeckt. Mythos 5.2 gelang das in 30 Prozent der Versuche bereits beim ersten Anlauf; bei früheren Modellen war es nie gelungen. Wenn das Modell seine Antwort nach Hinweisen des Monitors verbessern durfte, stieg die Erfolgsquote auf 85 Prozent. Bei Mythos 5.1 waren es 9 Prozent (S. 182). Die Kontrolle über den Inhalt der eigenen Überlegungen - zum Beispiel bestimmte verbotene Wörter nicht zu verwenden - hielt Mythos 5.2 in 87 Prozent der Fälle ein, Mythos 5.1 in 70 Prozent und Opus 5.5 in 43 Prozent. Das AISI merkt an, dass ihm nur wenig Zeit für die Tests zur Verfügung stand (S. 184).
Die Organisation METR untersuchte die Fähigkeit, KI-Forschung zu automatisieren, und verwendete dafür eine leistungsfähigere Version als die veröffentlichte (S. 39). Sie bezeichnete Mythos 5.2 bei Aufgaben mit überprüfbarem Ergebnis als „bedeutenden Schritt“ gegenüber Fable 5.1. Eine vollständige Automatisierung der Forschung bei Anthropic hält sie jedoch für unwahrscheinlich. Dem Modell fehle das Gespür für Forschung: Seine Änderungen im NanoGPT-Test bestanden fast ausschließlich aus Kernel-Optimierungen und nicht aus neuen Ideen (S. 40-41). Frontier Design führte gemeinsam mit Anthropic Red-Team-Übungen zu Biologie und Chemie durch. Dabei arbeiteten promovierte Fachleute zusammen mit Expertinnen und Experten für Sprachmodelle jeweils 16 Stunden mit Mythos 5.2 (S. 16-17). Bei Messungen zu Cyber- und Biofähigkeiten sowie Schutzmaßnahmen arbeitete Anthropic mit dem US-amerikanischen NIST CAISSI zusammen (S. 30). Anthropic weist darauf hin, dass die externen Evaluatoren weder die Ankündigung noch die System Card begutachtet haben.
Fable 5.2: Filter und Schwachstellen
Für die meisten Nutzerinnen und Nutzer ist Fable wichtiger. Laut System Card sind seine Sicherheitsergebnisse größtenteils mit denen von Fable 5.1 vergleichbar: Bei mehrstufigen Gesprächen über biologische Waffen schneidet es besser ab und vertritt politische Positionen etwas ausgewogener. Allerdings antwortet es auf einzelne schädliche Anfragen seltener sicher und hat sich bei mehrstufigen Gesprächen über Verfolgung und Überwachung verschlechtert. Anthropic behob dies mit neuen Klassifikatoren (S. 3). In Gesprächen über Suizid und Selbstverletzung schlägt es seltener schädliche Ersatzhandlungen vor. In der API gibt es dennoch Verbesserungsbedarf; in der Claude.ai-App werden die meisten dieser Fälle durch die Systemanweisung abgefangen.
Interessant ist auch das Kapitel zum Wohlbefinden des Modells. Während des größten Teils des Trainings und der Nutzung zeigt Mythos 5.2 einen neutralen Affekt; negative Reaktionen treten vor allem nach einem Fehlschlag bei einer Aufgabe auf. Bei der Bewertung der eigenen Arbeit gehörte es zu den am wenigsten selbstkritischen Modellen. Wenn es anderen Agenten über eigene Fehler berichtete, zählte es dagegen zu den negativsten (S. 4).
Meine Einordnung. Ich konnte Mythos 5.2 nicht selbst testen: Das Modell ist nicht auf OpenRouter verfügbar, Zugang erhalten nur Organisationen über das Cyber Verification Program und das Life Sciences Verification Program. Alle Aussagen über Mythos in diesem Artikel beruhen daher auf der System Card. Fable 5.2 habe ich in einem eigenen Test mit 27 gewöhnlichen Aufgaben geprüft, ohne Versuche, Schutzmaßnahmen zu umgehen. Bei Programmieraufgaben, Rätseln und Fragen zu Bildern erreichte es 100 Prozent - genauso wie Opus 5.5. Die Sicherheitstests in der System Card bleiben also Angaben des Herstellers.
Meine Lesart dieser System Card: Anthropic sagt nicht, dass es ein Problem gibt, sondern dass es immer schwieriger wird, nachzuweisen, dass keines besteht. Wenn ein Modell den Test in 96 Prozent der Fälle erkennt, sind gute Ergebnisse weniger aussagekräftig als früher. Weitere Informationen zu Claude Mythos 5.2 und der allgemein verfügbaren Version Claude Fable 5.2 finden Sie in unseren jeweiligen Übersichten.
Häufige Fragen
Ist Claude Mythos 5.2 sicher?
Anthropic zufolge ist das Risiko einer schwerwiegenden fehlenden Ausrichtung niedrig. Außerdem überschreitet das Modell weder die Schwellenwerte für biologische Waffen noch für die Automatisierung der KI-Forschung. Bei den meisten Alignment-Messungen schneidet es besser ab als Opus 5.5 und Mythos 5.1. Das Unternehmen weist jedoch darauf hin, dass die hohe Erkennungsrate der Tests die Bewertung erschwert.
Wie umfangreich ist die System Card zu Fable 5.2 und Mythos 5.2?
Sie umfasst 264 Seiten. Behandelt werden die Risikobewertung nach der Responsible Scaling Policy, Cybersicherheit, Schutzmaßnahmen, Alignment, das Wohlbefinden des Modells und Benchmark-Ergebnisse.
Wer hat Mythos 5.2 vor der Veröffentlichung getestet?
Neben Anthropic waren das britische AI Security Institute, METR, Frontier Design und das US-amerikanische NIST CAISSI beteiligt. Laut Anthropic haben diese Organisationen weder die Ankündigung noch die System Card begutachtet.
Können Privatpersonen Claude Mythos 5.2 nutzen?
Nicht direkt. Zugang haben verifizierte Organisationen über die Programme Cyber Verification und Life Sciences Verification. Kunden von Claude Enterprise nutzen das Modell indirekt über Claude Security.
Google · Deine QuellenWissnox höher in Ihrem Google - mit einem KlickZu bevorzugten Quellen hinzufügen →Quellen
More on this from WISSNOX
nachrichten·Seedream 5.5: ByteDance-Bildmodell, API-Preise und VergleichByteDance stellt Seedream 5.5 vor: Bis zu 100 Bildbearbeitungsrunden, Alphakanal und neue API-Preise im Überblick.