KI-Modelle: Skala 0-20 funktioniert besser als 0-100
Forschende zeigen: Wenn KI-Modelle ihre Sicherheit bewerten, liefert eine Skala von 0-20 bessere Ergebnisse als der Standard 0-100. Über 78% der Antworten konzentrieren sich auf nur drei runde Zahlen.
👁 115 Aufrufe
- Die Skala 0-20 verbessert die metakognitive Effizienz von Sprachmodellen konsistent im Vergleich zur Standardskala 0-100.
- Bei einer Skala von 0-100 konzentrieren sich über 78% der Modellantworten auf lediglich drei runde Werte, was die meisten Abstufungen ungenutzt lässt.
- Die Autoren Yuyang Dai und Yuxia Wang fordern, das Skalierungsdesign als vollwertige experimentelle Variable bei Modellbewertungen zu behandeln und stets zu dokumentieren.
Wenn wir ein Sprachmodell fragen, wie sicher es sich bei seiner Antwort ist, sieht das typische Schema so aus: Das Modell gibt eine Zahl zwischen 0 und 100 zurück. Klingt vernünftig. Das Problem: Bisher hat niemand die Frage gestellt, ob diese Skala überhaupt gut ist. Yuyang Dai und Yuxia Wang behaupten in einer im März 2026 veröffentlichten (und bis September 2026 überarbeiteten) Arbeit, dass dies ein gravierendes Versäumnis ist.
Das Problem mit runden Zahlen
Die Autoren untersuchten sechs Sprachmodelle auf drei Datensätzen und entdeckten etwas Beunruhigendes: Über 78% der Antworten konzentrierten sich auf lediglich drei runde Werte. Mit anderen Worten: Die Modelle nutzen nicht die gesamte verfügbare Skala - stattdessen gravitieren sie zu bequemen, runden Zahlen wie 50, 80 oder 90. Das bedeutet, dass die meisten Abstufungen der Sicherheit in der Praxis ungenutzt bleiben.
Die Autoren nennen dieses Phänomen „Diskretisierung“ und betrachten es als ernsthaftes Problem für alle, die versuchen, die Unsicherheit von Modellen in sogenannten Black-Box-Settings zu bewerten - also ohne Zugriff auf die internen Wahrscheinlichkeiten des Modells.
Drei Dimensionen des Experiments
Um zu untersuchen, was dieses Problem verursacht und ob es sich beheben lässt, manipulierten die Forschenden systematisch die Sicherheitsskalen entlang dreier Dimensionen. Die erste ist die Granularität - also wie detailliert die Skala ist. Die zweite ist die Verteilung der Grenzen - wo die Skala beginnt und endet. Die dritte ist die Regelmäßigkeit des Bereichs - ob die Skala typisch oder unregelmäßig ist.
Zur Bewertung der Qualität der Metakognition (also wie gut das Modell weiß, was es weiß) verwendeten die Autoren ein Maß namens meta-d‘. Das Dokument erklärt nicht näher, was genau dieses Maß ist, außer seinem Namen und seiner Anwendung.
Was funktioniert, was nicht
Die Ergebnisse sind konkret. Die Skala 0-20 verbessert konsistent die sogenannte metakognitive Effizienz im Vergleich zum Standardformat 0-100. Das ist die wichtigste praktische Schlussfolgerung der Arbeit.
Andererseits verschlechtert „Grenzkompression“ - also das Zusammendrücken der Skala durch Setzen ihrer Enden näher zur Mitte - die Ergebnisse. Die Autoren stellen auch fest, dass die Präferenz für runde Zahlen selbst dann nicht verschwindet, wenn die Skala unregelmäßig ist. Die Modelle suchen trotzdem nach runden Werten, auch wenn die Skala sie technisch nicht hervorhebt.
Methodologische Schlussfolgerung
Die Autoren formulieren eine zentrale Forderung: Das Design der Sicherheitsskala beeinflusst direkt die Qualität der verbalisierten Unsicherheit und sollte als vollwertige experimentelle Variable bei der Bewertung von Sprachmodellen behandelt werden. Mit anderen Worten: Wenn Sie untersuchen, wie gut ein Modell seine eigene Sicherheit einschätzt, müssen Sie berichten, welche Skala Sie verwendet haben, denn das macht einen Unterschied.
Die Arbeit umfasst 20 Seiten. Die Autoren geben im Abstract keine Informationen darüber, welche konkreten Modelle sie untersucht haben, welche Datensätze es waren, noch detaillierte Zahlen zur Verbesserung durch die Skala 0-20 - diese Informationen sind im bereitgestellten Text nicht enthalten.
Google · Deine QuellenWissnox höher in Ihrem Google - mit einem KlickZu bevorzugten Quellen hinzufügen →Was folgt daraus
Unserer Ansicht nach hat diese Studie praktische Bedeutung, wenn auch in einem engen Bereich. Wenn Sie ein System entwickeln, in dem das Modell selbst seine Sicherheit bewertet und diese Bewertung weitergibt - an den Nutzer oder an eine andere Komponente - dann ist die Wahl der Skala keine Frage der Ästhetik. Das Ergebnis, dass über drei Viertel der Antworten bei einer Skala von 0-100 auf drei Zahlen landen, legt nahe, dass diese Skala schlicht Potenzial verschwendet und eine Illusion von Präzision erzeugt, die nicht existiert. Die Empfehlung, eine Skala von 0-20 auszuprobieren, ist einfach umzusetzen und - falls sich die Studienergebnisse bestätigen - einen Versuch wert. Schade, dass das Abstract keinen Zugang zu Details bietet, denn ohne Kenntnis darüber, welche Modelle und Daten getestet wurden, ist es schwer einzuschätzen, wie breit sich diese Erkenntnisse verallgemeinern lassen.
Quelle: arXiv cs.AI: Rescaling Confidence: What Scale Design Reveals About LLM Metacognition (Dokument vom 12.09.2026). Diese Besprechung entstand auf Grundlage des vollständigen Dokumenttextes, nicht auf Basis von Berichten anderer Medien.
Häufig gestellte Fragen
Warum ist die 0-100-Skala für KI-Konfidenzangaben problematisch?
Weil Sprachmodelle bei dieser Skala über 78% ihrer Antworten auf nur drei runde Zahlen konzentrieren und damit die meisten Abstufungen ungenutzt bleiben. Das erzeugt eine Illusion von Präzision, die in der Praxis nicht existiert.
Welche Konfidenzskala empfehlen die Forscher stattdessen für Sprachmodelle?
Die Autoren empfehlen die Skala 0-20, die konsistent bessere metakognitive Effizienz liefert als das Standardformat 0-100. Sie ist laut der Studie einfach umzusetzen und einen Versuch wert.
Was bedeutet Diskretisierung bei KI-Konfidenzangaben?
Diskretisierung bezeichnet das Phänomen, dass Sprachmodelle statt der gesamten Skala nur wenige bequeme, runde Werte wie 50, 80 oder 90 verwenden. Die Autoren betrachten dies als ernsthaftes Problem bei der Bewertung von Modellunsicherheit in Black-Box-Settings.
Wie viele Modelle und Datensätze wurden in der Studie zur Konfidenzskala untersucht?
Die Studie untersuchte sechs Sprachmodelle auf drei Datensätzen. Welche konkreten Modelle und Datensätze es waren, geht aus dem Abstract nicht hervor.
More on this from WISSNOX
benchmarks·GPT-4.1 Agent: Wiederholbarkeit von KI-Agenten im TestIBM Research zeigt: Ein Agent löst eine Aufgabe einmal korrekt - aber schafft er es beim nächsten Versuch wieder? Die Lücke zwischen Benchmark und Praxis.