UK AISI und EvalEval wollen KI-Benchmark-Ergebnisse reproduzierbar machen
Das britische AI Security Institute und die EvalEval-Koalition veröffentlichen Evaluierungsergebnisse für fünf Benchmarks und sechs Frontier-Modelle in einem gemeinsamen, standardisierten Format. Ziel ist es, die Nachvollziehbarkeit von KI-Leistungsmessungen zu verbessern.
👁 114 Aufrufe
- Das britische AI Security Institute (AISI) und die EvalEval-Koalition veröffentlichen Evaluation Cards mit verifizierten Ergebnissen für fünf Benchmarks und sechs Frontier-Modelle.
- Das einheitliche Berichtsformat 'Every Eval Ever' (EEE) soll Benchmark-Ergebnisse reproduzierbar machen, da Messungen bisher oft ohne ausreichende Konfigurationsangaben erschienen.
- Am Beispiel Humanity's Last Exam zeigt sich: Erhalten Modelle nach jedem Versuch Korrektheitsfeedback, lösen sie mit steigendem Token-Einsatz mehr Aufgaben - Setup-Entscheidungen beeinflussen Ergebnisse direkt.
Wer KI-Modelle bewertet, steht vor einem strukturellen Problem: Ergebnisse erscheinen in unterschiedlichen Formaten, auf verschiedenen Plattformen und oft ohne ausreichende Angaben, um die Messungen zu wiederholen. Das britische AI Security Institute (AISI) und die EvalEval-Koalition wollen dieses Problem gemeinsam angehen - und haben jetzt eine erste konkrete Zusammenarbeit veröffentlicht.
Was AISI und EvalEval gemeinsam aufgebaut haben
Die Zusammenarbeit begann laut dem Blogbeitrag mit einem gemeinsamen Workshop neben der NeurIPS 2025. Rückmeldungen des Instituts haben dabei das Schema „Every Eval Ever“ (EEE) mitgeformt - ein einheitliches Berichtsformat für Evaluierungsergebnisse. In der nun gestarteten nächsten Phase wird diese Infrastruktur praktisch eingesetzt: AISI stellt öffentlich gemeldete Evaluierungsmethoden und -befunde über sogenannte „Evaluation Cards“ bereit.
Die Veröffentlichung umfasst verifizierte Ergebnisse, Kontext und Konfigurationsinformationen für fünf Benchmarks aus dem Hauptexperiment eines begleitenden Forschungspapiers: HealthBench, FrontierMath, Humanity’s Last Exam, SWE-Bench Pro und Terminal-Bench 2.0. Diese Ergebnisse decken sechs Frontier-Modelle ab: Claude Opus 4, Claude Opus 4.5, Claude Opus 4.6, GPT-5, GPT-5.2 und GPT-5.4. Zusätzlich sind Ergebnisse aus zwei verwandten Cyber-Evaluierungen enthalten - Cyber CTFs und The Last Ones - die eine teilweise überschneidende Modellmenge verwenden.
Warum reproduzierbare Evaluierungen so schwierig sind
Das Dokument benennt das Kernproblem klar: Evaluierungen werden über viele Formate, Plattformen und Kanäle hinweg berichtet, häufig ohne genug Informationen, um sie zu reproduzieren. Die Messungen selbst erneut durchzuführen kann zudem prohibitiv teuer sein. EvalEvals erklärtes Ziel ist es, dieses Ökosystem durch das gemeinsame Schema EEE und die offene Plattform Evaluation Cards zu verbessern.
Das begleitende Papier von AISI trägt den Titel „How Inference Compute Shapes Frontier LLM Evaluation“ und untersucht, wie Benchmark-Leistung von Inferenz-Compute und Evaluierungsprotokoll abhängt. Als konkretes Beispiel nennt der Beitrag den Benchmark Humanity’s Last Exam: Die Performance ändert sich je nach Evaluierungsprotokoll und eingesetztem Inferenz-Compute. Wenn Modelle nach jedem Versuch Korrektheitsfeedback von einem Oracle erhielten, lösten sie mit steigendem Token-Einsatz weitere Aufgaben. Das zeigt, dass Setup-Entscheidungen gemeldete Ergebnisse direkt beeinflussen können.
Bestehende Werkzeuge von AISI als Grundlage
Der Beitrag verweist auf bereits existierende Arbeiten des Instituts: OptStop soll Evaluierungen effizienter machen, HiBayES statistisch rigoroser - durch hierarchische Bayes-Modellierung -, und weitere Arbeiten betreffen die Standardisierung von Transkriptanalyse und Fähigkeitsmessung. Wie genau diese Werkzeuge in die aktuelle Veröffentlichung eingeflossen sind, wird im Dokument nicht im Detail ausgeführt.
Wer mitmachen kann
Die EvalEval-Koalition richtet sich mit einem Aufruf an drei Gruppen: Modellentwickler sollen verifizierte Evaluierungsergebnisse melden, Entwickler von Evaluierungsverfahren sollen Benchmarks und Laufdaten im EEE-Schema erfassen, und Forschende sowie Entscheidungsträger aus Governance und Politik sollen die Evaluation Cards nutzen, um den Zustand der Evaluierungsberichterstattung als Ganzes zu untersuchen.
Google · Deine QuellenWissnox höher in Ihrem Google - mit einem KlickZu bevorzugten Quellen hinzufügen →Was bedeutet das
Aus meiner Sicht zeigt diese Zusammenarbeit, dass das Reproduzierbarkeitsproblem bei KI-Evaluierungen inzwischen auch institutionell ernst genommen wird - nicht nur in der akademischen Diskussion. Dass eine Regierungsbehörde wie AISI ihre Rohdaten und Konfigurationen in einem offenen, standardisierten Format veröffentlicht, ist ein ungewöhnlicher Schritt. Ob das Schema EEE breit genug adoptiert wird, um wirklich als gemeinsamer Referenzrahmen zu dienen, wird entscheidend sein - das Dokument selbst lässt diese Frage offen. Der Hinweis, dass selbst ähnliche Benchmarks unter unterschiedlichen Setup-Bedingungen stark abweichende Ergebnisse liefern, unterstreicht, wie dringend solche Transparenzstandards gebraucht werden.
Quelle: Hugging Face: How UK AISI and EvalEval Are Making Benchmark Results Reproducible (dokument z 2026-09-22). Diese Besprechung entstand auf Grundlage des vollständigen Dokumenttextes, nicht auf Basis von Medienberichten.
Häufig gestellte Fragen
Was ist das Ziel der Zusammenarbeit zwischen UK AISI und EvalEval?
Ziel ist es, KI-Benchmark-Ergebnisse reproduzierbar zu machen, indem ein gemeinsames Berichtsformat namens 'Every Eval Ever' (EEE) und eine offene Plattform namens Evaluation Cards eingeführt werden. Das Kernproblem ist, dass Evaluierungen bisher über viele Formate und Plattformen hinweg ohne genug Informationen zur Wiederholung veröffentlicht wurden.
Welche KI-Modelle und Benchmarks sind in den veröffentlichten Evaluation Cards enthalten?
Die Evaluation Cards decken sechs Modelle ab: Claude Opus 4, Claude Opus 4.5, Claude Opus 4.6, GPT-5, GPT-5.2 und GPT-5.4. Als Benchmarks sind HealthBench, FrontierMath, Humanity's Last Exam, SWE-Bench Pro und Terminal-Bench 2.0 enthalten, ergänzt durch zwei Cyber-Evaluierungen namens Cyber CTFs und The Last Ones.
Warum sind KI-Evaluierungsergebnisse so schwer zu reproduzieren?
Evaluierungen werden in vielen unterschiedlichen Formaten und auf verschiedenen Plattformen veröffentlicht, häufig ohne ausreichende Angaben zur Konfiguration. Zudem kann die erneute Durchführung der Messungen prohibitiv teuer sein.
Wer kann an der EvalEval-Koalition teilnehmen?
Die Koalition richtet sich an drei Gruppen: Modellentwickler sollen verifizierte Ergebnisse melden, Entwickler von Evaluierungsverfahren sollen Benchmarks im EEE-Schema erfassen, und Forschende sowie Entscheidungsträger aus Governance und Politik sollen die Evaluation Cards zur Untersuchung der Evaluierungsberichterstattung nutzen.
More on this from WISSNOX
anleitungen·Wie man eine Instagram-Bio mit AI schreibt: Schritt für SchrittWie eine Instagram-Bio schreiben mit Hilfe von KI - Schritt für Schritt, mit fertigen Prompts zum Kopieren und Hinweis, welches Tool man wählen sollte.