› Das Team von IBM Research hat auf Hugging Face eine Analyse zum Problem der Wiederholbarkeit von KI-Agenten veröffentlicht, die eine grundlegende Kluft zwischen dem aufzeigt, was Benchmarks zeigen, und dem, was Produktivnutzer tatsächlich benötigen.Ein ReAct-Agent auf Basis von GPT-4.1, getestet am AppWorld test_normal-Datensatz, erreicht im Durchschnitt in 77,4% der Fälle die richtige Antwort.
› Das ist die Zahl, die Sie auf Leaderboards sehen.
› Wenn Sie aber dieselbe Aufgabe fünfmal wiederholen und verlangen, dass der Agent alle fünf Versuche besteht - sinkt der Prozentsatz auf 53,0%.
› Die Lücke beträgt 24,4 Prozentpunkte.