GPT-4.1 Agent: Wiederholbarkeit von KI-Agenten im Test
IBM Research zeigt: Ein Agent löst eine Aufgabe einmal korrekt - aber schafft er es beim nächsten Versuch wieder? Die Lücke zwischen Benchmark und Praxis.
👁 117 Aufrufe
Das Team von IBM Research hat auf Hugging Face eine Analyse zum Problem der Wiederholbarkeit von KI-Agenten veröffentlicht, die eine grundlegende Kluft zwischen dem aufzeigt, was Benchmarks zeigen, und dem, was Produktivnutzer tatsächlich benötigen.
Ein ReAct-Agent auf Basis von GPT-4.1, getestet am AppWorld test_normal-Datensatz, erreicht im Durchschnitt in 77,4% der Fälle die richtige Antwort. Das ist die Zahl, die Sie auf Leaderboards sehen. Wenn Sie aber dieselbe Aufgabe fünfmal wiederholen und verlangen, dass der Agent alle fünf Versuche besteht - sinkt der Prozentsatz auf 53,0%. Die Lücke beträgt 24,4 Prozentpunkte. Bei den schwierigsten Aufgaben erreicht sie 30 Punkte.
Der Unterschied zwischen diesen beiden Metriken ist keine technische Kuriosität. Im Produktivkontext - Überprüfung von Vertragsverpflichtungen, Abgleich von Finanztransaktionen - ist ein Workflow, der einmal erfolgreich ist und einmal bei identischer Anfrage versagt, ein Problem, keine Statistik.
Zwei Metriken, zwei Fragen
Die Forscher weisen auf einen wichtigen terminologischen Unterschied hin. Mean@k beantwortet die Frage: Wie gut ist der Agent im Durchschnitt? Pass^k (nicht zu verwechseln mit dem populären Pass@k) beantwortet die Frage, die sich der tatsächliche Nutzer stellt: Führt der Agent jedes Mal dieselbe Aufgabe korrekt aus? Pass@k ist optimistisch - ein Erfolg aus k Versuchen genügt. Pass^k ist pessimistisch - jeder Versuch muss gelingen. Die meisten Benchmarks berichten ausschließlich die erste Zahl.
Google · Deine QuellenWissnox höher in Ihrem Google - mit einem KlickZu bevorzugten Quellen hinzufügen →Diagnose und Behandlung
IBM Research hat den Consistency Analyzer entwickelt - ein Tool, das die aufgezeichnete Trajektorie eines Agenten analysiert und nach Entscheidungspunkten sucht, an denen das Modell nur einen Token davon entfernt war, einen anderen Pfad zu wählen. Wichtig: Das Tool arbeitet mit einer einzigen aufgezeichneten Trajektorie und benötigt weder Ground Truth noch ein erneutes Ausführen der gesamten Aufgabe. An jedem Entscheidungspunkt holt es k=5 Vervollständigungen mit einem einzigen zusätzlichen Modellaufruf.
Auf Basis dieser Diagnose generiert das System ALTK-Evolve sogenannte Consistency Guidelines - Konsistenzrichtlinien, die dem Agenten zur Inferenzzeit injiziert werden. Das Ergebnis: Die Pass^5-Lücke sinkt von 24,4 auf 12,0 Prozentpunkte. Bei Aufgaben desselben Typs steigt das Pass^5-Ergebnis um 16,0 Prozentpunkte, bei ähnlichen Aufgaben um 13,0 Prozentpunkte. Die durchschnittliche Genauigkeit sinkt nicht.
Die vollständige Methodik und die Ergebnisse sind im technischen Bericht auf arXiv verfügbar.
Eine interessante Erinnerung daran, dass die Verbesserung der durchschnittlichen Genauigkeit um einige Punkte weniger wertvoll sein kann, als dafür zu sorgen, dass der Agent aufhört, bei derselben Frage die Antwort auszuwürfeln.
More on this from WISSNOX
benchmarks·AI-Modelle im Test 16.09.2026: 7 Modelle, 4 AufgabenSieben aktuelle Sprachmodelle im direkten Vergleich: Textkorrektur, Tabellenerkennung, Code-Generierung und Kontextfenster. Ein Durchlauf, Temperatur 0, PHP-Auswertung.