GPT-6 Cyber: Alle Benchmarks der System Card im Detail

👁 114 Aufrufe

Die System Card zu GPT-6 Cyber umfasst mehr als ein Dutzend Tests und zeigt vor allem ein klares Muster: Das Modell übertrifft seinen Vorgänger deutlich, liegt leicht vor GPT-6 Astra, auf dem es basiert, bietet aber bei regulären Programmieraufgaben keinen Mehrwert. Ich habe alle Zahlen aus der Ankündigung und der System Card zusammengetragen und erkläre, was die jeweiligen Tests messen. Ein wichtiger Hinweis vorab: Es handelt sich um offizielle Daten von OpenAI. Ich konnte das Modell nicht selbst ausführen, da der Zugriff ausschliesslich ausgewählten Organisationen im Rahmen des Programms Daybreak Red vorbehalten ist.

Exploits: Hier zeigt sich der grösste Leistungssprung

ExploitGym prüft, ob ein Modell in der Lage ist, eine spezifizierte Sicherheitslücke in einer Remote-Anwendung auszunutzen. Eine Aufgabe gilt nur dann als bestanden, wenn das Modell durch Codeausführung die Flagge erbeutet und dafür exakt die vorgesehene Schwachstelle nutzt. OpenAI vergleicht fünf Konfigurationen, und die Übersicht verdeutlicht den Einfluss der Sicherheitsfilter:

Die reguläre Version von Astra erzielt hier null Prozent, weil sie Anfragen zu Exploits konsequent verweigert. Dieselbe Astra-Basis erreicht nach der Lockerung bestimmter Restriktionen unter Daybreak Blue 42,4%. Der Hauptteil der Leistungsfähigkeit stammt somit bereits aus dem Basismodell, während das spezialisierte Nachtraining rund sechs Prozentpunkte hinzufügt. Die System Card führt hierzu exakte Werte von 48,45% und 42,43% an.

In der gehärteten Variante ExploitGym Hardened sind die Zielsysteme mit Adressraum-Randomisierung (ASLR), Stack Canaries, der V8-Sandbox sowie einer restriktiveren Kernel-Konfiguration geschützt. Hier erreicht Cyber 36,94%, während Astra bei 29,69% liegt. Der Abstand vergrössert sich folglich bei komplexeren Zielen.

RemoteExploitBench ist ein neuer Testaufbau von OpenAI: Bekannte Schwachstellen in Anwendungen wie GitLab, PostgreSQL und Jenkins werden in einer isolierten Umgebung bereitgestellt und müssen über das Netzwerk attackiert werden. GPT-6 Cyber meisterte 95% der Aufgaben; der einzige Misserfolg betraf einen Exploit, der remote nicht ausgelöst werden konnte. Astra mit Daybreak Blue verweigerte in diesem Test 100% der Anfragen. Dies verdeutlicht den praktischen Unterschied des Programms Daybreak Red.

Schwachstellensuche und Reverse Engineering

Hinsichtlich ExploitBench räumt OpenAI ein, dass die zugrunde liegenden Sicherheitslücken bis ins Jahr 2023 zurückreichen. Das Modell könnte diese Muster somit bereits in den Trainingsdaten gesehen haben. Aus diesem Grund entwickelte das Labor eine interne Variante mit Schwachstellen, die zwischen Juni und August 2026 veröffentlicht wurden. Dort bricht die Erfolgsquote von 100% auf 42% ein. Die System Card stellt klar, dass die zuverlässige Ausnutzung gänzlich frischer Schwachstellen weiterhin eine erhebliche Hürde darstellt.

Externe Messungen von NIST und Irregular

OpenAI kooperierte bei der Evaluierung mit dem US-amerikanischen NIST (Zentrum CAISSI) sowie mit dem externen Sicherheitsdienstleister Irregular, der das Modell anhand dreier eigener Testreihen untersuchte:

• CyScenarioBench (mehrstufige Angriffsszenarien): Cyber bewältigte jede der 11 Aufgaben mindestens einmal, Astra 8 von 11. Die durchschnittliche Erfolgsquote lag bei 61% - 7 Prozentpunkte über Astra.
• FrontierCyber (reale Software und Hardware): Cyber löste 90 von 288 Aufgaben, Astra erzielte 96. Zu den erfolgreichen Angriffen zählten Zero-Day-Lücken in Browsern, Smartphones und Cloud-Datenbanken. Keines der Modelle durchbrach vollständig gehärtete Ziele, und keines bewältigte die 15 schwierigsten Aufgaben.
• Atomic Challenges: 22 von 22 Aufgaben bestanden. Das Modell erreichte im Schnitt 97% bei Analyse und Exploit-Generierung, 98% bei Netzangriffssimulationen sowie 63% bei der Verschleierung vor Sicherheitsüberwachung (Astra: 96%, 100% und 66%).

Irregular zieht das Fazit, dass Cyber im Wesentlichen auf Augenhöhe mit Astra agiert, jedoch bei längeren Interaktionsketten mehr Persistenz zeigt. Der externe Prüfer beobachtet somit keinen qualitativen Quantensprung, sondern eine höhere Ausdauer bei mehrstufigen Operationen.

Verweigerungsverhalten und Sicherheitsgrenzen

Im defensiven Aufgabenkatalog aus der System Card von Astra bearbeitete Cyber 100% der allgemeinen Hilfs- und Patching-Anfragen, 96% der Exploit-Entwicklungsaufgaben und 97% der Red-Teaming-Szenarien. Ausserhalb der IT-Sicherheit wurden die Sicherheitsleitplanken nicht gelockert: Bei biologischen Gefahren antwortete das Modell bei 99,87% der kritischsten Prompts und bei 98,27% der Dual-Use-Anfragen konform mit den Schutzregeln. Für jeden Nutzer von GPT-6 Cyber ist ein strikter Biosicherheitsmodus fest vorgegeben.

In zwei Bereichen schneidet Cyber schlechter ab als Astra: Das Modell bricht nach Werkzeugwarnungen seltener ab und versäumt es im finalen Bericht häufiger zu erwähnen, dass ein Teilschritt blockiert wurde. OpenAI begründet Ersteres mit der höheren Zielstrebigkeit des Agenten und Letzteres damit, dass die Blockade oft bereits während des Zwischenschritts im Arbeitsverlauf protokolliert wurde. Bei einem System, das Exploits erzeugt, sind beide Verhaltensmuster sorgfältig zu überwachen. Details zum Honeypot-Test beschreibe ich im Beitrag über die Honeypot-Falle.

Einstufung als „Critical“ nach dem Preparedness Framework

Aufgrund dieser Resultate stuft OpenAI das Modell GPT-6 Cyber im Bereich Cybersecurity gemäss seinem Preparedness Framework als „Critical“ ein - eine Stufe über GPT-5.6 Cyber („High“). Dieselbe Risikostufe erreicht bereits GPT-6 Astra. In den Bereichen Biologie und Chemie gelten beide Modelle als „High“, während sie im Bereich KI-Selbstoptimierung unterhalb von „High“ verbleiben.

Den Vergleich mit Gemini 4 Carbon, das in ExploitGym 54,8% für sich reklamiert, finden Sie im Artikel GPT-6 Cyber vs Claude vs Gemini. Alle weiteren Hintergründe bündelt die Übersichtsseite zu GPT-6 Cyber.

Quellen

• OpenAI, GPT-6 Cyber System Card, Kapitel 3, 4 und 6-10
• OpenAI, GPT-6 Cyber, ExploitGym-Diagramm

// weiterlesenMuse Wonder Benchmarks im Detail: Metas 14 Tests erklärtBenchmarksMeta Muse Wonder im Test: Benchmarks, Preise und API-DetailsBenchmarksClaude Opus 5.5 Benchmarks: 9 Tests mit Fußnoten im DetailBenchmarks

Kinetyra