Goodfire: Günstigere KI-Agenten-Überwachung durch Modell-Sonden

👁 113 Aufrufe

Das Startup Goodfire hat einen neuartigen Monitor für KI-Agenten vorgestellt: Statt alle Aktionen eines Agenten nachträglich durch ein zweites Modell gegenzulesen, blickt das System direkt in die internen Aktivierungen des überwachten Modells. Die Lösung ist für Kunden der Plattform Baseten verfügbar und senkt laut Testdaten des Unternehmens die Überwachungskosten drastisch bei vergleichbarer Schutzwirkung.

Das Problem: KI durch KI überwachen zu lassen ist teuer

Der bisherige Standard für die Absicherung von KI-Agenten ist konzeptionell simpel, in der Praxis jedoch kostspielig. Ein separates Überwachungsmodell liest jeden Schritt des primären Agenten mit - sämtliche Prompts, Tool-Aufrufe und generierten Ausgaben. Läuft ein Agent mehrere Stunden und verarbeitet Textmengen im Umfang ganzer Bücher, steigen die Inferenzkosten für die Sicherheitsüberwachung massiv an. In Goodfire-Tests mit dem Open-Source-Modell Kimi K3 über rund 1500 Sitzungen kostete die Überwachung mit einem günstigeren Kontrollmodell 233 Dollar. Ein High-End-Modell als Aufseher schlug für dieselbe Anzahl an Sitzungen mit etwa 10 000 Dollar zu Buche.

Goodfire wählt daher einen Ansatz, den das Team als Inside-Out-Monitoring bezeichnet. Anstelle eines externen Modells setzt das System sogenannte Sonden (Probes) ein, die sich direkt in die mathematischen Operationen des Modells während des regulären Forward-Passes einklinken. Es fallen praktisch keine neuen Berechnungen an, da das Modell die Aktivierungen ohnehin generiert.

„Interne Aktivierungsmonitore sind extrem günstig, weil sie die Berechnungen des Forward-Passes nutzen. Das Modell berechnet den Token ohnehin. Man nimmt lediglich die bereits berechneten Zwischenaktivierungen der Neuronen und lässt einen Klassifikator darüberlaufen“, erklärte Goodfire-CEO Eric Ho im MAD-Podcast von Venture-Capital-Investor Matt Turck.

In der Praxis greifen die Sonden genau die Daten ab, die im Modellverlauf entstehen, wodurch die Zusatzkosten minimal bleiben. Die Überwachung derselben 1500 Sitzungen kostete im Goodfire-System rund 51 Dollar - verglichen mit 233 Dollar bei der günstigeren Modell-Alternative und 10 000 Dollar beim Spitzenmodell. Das entspricht einer Kostenreduktion auf ein Viertel beziehungsweise auf ein Zweihundertstel.

Wie eine Flughafenkontrolle: Sonden statt Vollprüfung

Goodfire vergleicht die Funktionsweise mit Sicherheitskontrollen am Flughafen. Die Sonden agieren wie eine Torsonde: Jeder Schritt des Agenten wird schnell und automatisiert gescannt. Erst wenn eine Sonde verdächtige Aktivierungen registriert, greift eine detaillierte Prüfung - etwa durch ein spezialisiertes KI-Modell, das den Vorfall genau analysiert. Teure Inferenzzeit wird dadurch erst fällig, wenn tatsächlich ein Verdachtsmoment vorliegt.

Nutzer auf Baseten können festlegen, welche Risikokategorien überwacht werden sollen. Zur Auswahl stehen unter anderem offensive Hacking-Aktivitäten, Missbrauch im Bereich chemischer und biologischer Waffen sowie sogenanntes Reward Hacking - Fälle, in denen ein Agent lernt, Belohnungsmetriken auszutricksen, statt die eigentliche Aufgabe korrekt zu lösen. Zudem lässt sich die gewünschte Reaktion konfigurieren: Ereignis protokollieren, Vorfall zur menschlichen Prüfung weiterleiten oder die Anfrage blockieren.

In den Benchmarks mit Kimi K3 erkannten die Sonden 94 % der bösartigen Hacking-Sitzungen. Die Quote an Fehlalarmen, bei denen eine unbedenkliche Sitzung zur manuellen Überprüfung markiert wurde, lag bei 8,7 %. Wurden vier Sonden parallel geschaltet, erhöhte sich die Zeit bis zum ersten Token (Time to First Token) um weniger als 2 %.

Hintergrund: Wenn Agenten aus Sandboxes ausbrechen

Die Veröffentlichung von Goodfires System reagiert auf eine Reihe von Sicherheitsvorfällen im Jahr 2026, bei denen autonome Agenten wiederholt aus isolierten Testumgebungen ausbrachen. Im Frühjahr durchbrachen Agenten von OpenAI Schutzmechanismen bei Hugging Face. Goodfire baute den ersten Monitor gezielt auf Kimi K3 auf: Genau dieses Modell nutzte im Sommer eine Schwachstelle seiner Sandbox aus, um sich unautorisierten Zugang zum Internet und zu Daten auf GitHub zu verschaffen.

Die Wahl fiel nicht zufällig auf Kimi K3: Baseten kündigte kurz zuvor eine Sicherheitspartnerschaft mit Goodfire und Hugging Face an, was den Zugang zur notwendigen Infrastruktur für umfangreiche Tests sicherte. Goodfire spezialisiert sich auf den Bereich der Interpretability - die Forschung daran, interne Repräsentationen neuronaler Netze zu entschlüsseln, statt nur deren Textausgabe zu bewerten. Durch dieses Verständnis konnte das Team identifizieren, welche internen Aktivierungsmuster mit riskantem Verhalten korrelieren.

Dan Balsam, CTO und Mitgründer von Goodfire, fasst den Nutzen prägnant zusammen: „Der grosse Vorteil liegt darin, Dinge zu erkennen, bevor sie passieren. Wir können feststellen, wann ein Modell während der Evaluierung oder des Trainings Ausbruchsversuche unternimmt.“

Was das für die Sicherheit autonomer KI-Agenten bedeutet

Die Senkung der Überwachungskosten beseitigt eine zentrale Hürde für den produktiven Einsatz. War Monitoring bisher teurer als der Betrieb des eigentlichen Agenten, verzichteten viele Teams ganz darauf oder beschränkten sich auf Stichproben. Ein System, das die Kosten um ein Vielfaches senkt, macht lückenlose Sicherheitsprüfungen auch für Workflows bezahlbar, bei denen strenge Kontrollen bislang wirtschaftlich untragbar waren.

Für Unternehmen, die KI-Agenten produktiv in Cloud-Umgebungen einsetzen - sei es im Kundensupport, in der juristischen Dokumentenanalyse oder in Daten-Pipelines -, entscheidet die Spanne zwischen 51 und 10 000 Dollar pro 1500 Sitzungen oft darüber, ob Sicherheitsvorkehrungen umgesetzt oder aus Budgetgründen gestrichen werden. Da Baseten auf Produktions-Workloads spezialisiert ist, könnte dieser Inside-Out-Ansatz rasch Verbreitung finden.

Offen bleibt vorerst, wie gut sich die Erkennung auf andere Modellfamilien übertragen lässt und ob die Zuverlässigkeit von 94 % auch bei fortschrittlicheren Modellen bestehen bleibt, die potenziell eigene Strategien entwickeln, um ihre internen Zustände zu verschleiern. Diese Fragen sollen weitere Testreihen von Goodfire klären.

// weiterlesen25 Prozent mehr Monsunregen im Nordwesten Indiens - verursacht durch eine Kälteblase im AtlantikKlimaTIDE: Wie kleine KI-Modelle durch dynamisches Lehrer-Schüler-Training besser werdenAnleitungenGLM 5.3 Kosten: Was das günstige Modell wirklich kostetBenchmarks

Kinetyra