Wie die Wahl der Konfidenzskala die Selbsteinschätzung von KI-Modellen verzerrt
Forscher zeigen, dass mehr als 78 Prozent der Konfidenzangaben großer Sprachmodelle auf nur drei runde Zahlenwerte entfallen. Die Wahl der Skala beeinflusst dabei direkt die Qualität dieser Selbsteinschätzung.
👁 112 Aufrufe
- Eine Skala von 0 bis 20 verbessert die metakognitive Effizienz von Sprachmodellen konsistent gegenüber der üblichen 0-bis-100-Skala.
- Über sechs Sprachmodelle und drei Datensätze hinweg entfallen mehr als 78 Prozent aller Konfidenzangaben auf nur drei runde Zahlenwerte.
- Selbst eine unregelmäßige Skaleneinteilung beseitigt die Rundungsneigung nicht, was laut den Autoren Yuyang Dai und Yuxia Wang auf ein tief verankertes Modellverhalten hindeutet.
Wenn man ein großes Sprachmodell fragt, wie sicher es sich bei einer Antwort ist, gibt es üblicherweise eine Zahl zurück - etwa eine Prozentzahl zwischen 0 und 100. Dieses Verfahren heißt „verbalisierte Konfidenz“ und wird häufig eingesetzt, um die Unsicherheit von Modellen in sogenannten Black-Box-Szenarien abzuschätzen, also dort, wo man keinen Zugriff auf die internen Wahrscheinlichkeiten des Modells hat. Eine neue Studie der Autoren Yuyang Dai und Yuxia Wang, eingereicht auf arXiv im März 2026 und zuletzt im September 2026 überarbeitet, stellt eine einfache, aber folgenreiche Frage: Spielt es eigentlich eine Rolle, welche Skala man dabei verwendet?
Das Kernproblem: Runde Zahlen dominieren
Die Antwort der Studie ist eindeutig. Über sechs Sprachmodelle und drei Datensätze hinweg zeigen die Autoren, dass verbalisierte Konfidenzwerte stark diskretisiert sind - das heißt, die Modelle greifen immer wieder auf dieselben wenigen Werte zurück. Konkret entfallen mehr als 78 Prozent aller Antworten auf lediglich drei runde Zahlenwerte. Welche das genau sind, geht aus dem vorliegenden Abstract nicht hervor. Die Modelle neigen also dazu, z.B. immer wieder 50, 70 oder 90 zu nennen, anstatt die volle Bandbreite der Skala zu nutzen. Das ist an sich schon ein Problem, weil eine solche Häufung von Werten keine feinen Unterschiede in der tatsächlichen Unsicherheit widerspiegeln kann.
Systematische Manipulation der Skala
Um zu verstehen, was hinter diesem Verhalten steckt, haben die Autoren die Konfidenzskala systematisch in drei Dimensionen verändert: Granularität (also wie viele Stufen die Skala hat), Grenzwertplatzierung (wo die Skala beginnt und endet) sowie Bereichsregelmäßigkeit (ob die Skala gleichmäßig oder unregelmäßig aufgeteilt ist). Als Maß für die Qualität der Selbsteinschätzung verwenden sie den Kennwert „meta-d'“, der die sogenannte metakognitive Effizienz misst - also wie gut ein Modell seine eigene Richtigkeit einschätzen kann.
Die 0-20-Skala schneidet am besten ab
Das zentrale Ergebnis: Eine Skala von 0 bis 20 verbessert die metakognitive Effizienz gegenüber dem üblichen Format von 0 bis 100 konsistent. Die Autoren schreiben, dass diese schmalere Skala dazu beiträgt, dass die Modelle ihre Unsicherheit genauer abbilden. Gleichzeitig verschlechtert eine Kompression der Grenzwerte - also eine Verschiebung der Skalenenden - die Leistung. Besonders bemerkenswert: Selbst wenn die Skala unregelmäßig gestaltet wird, bleibt die Vorliebe der Modelle für runde Zahlen bestehen. Das zeigt, dass dieses Verhalten tief im Modellverhalten verankert ist und sich durch bloße Skalenveränderung nicht vollständig beheben lässt.
Folgerung der Autoren
Die Studie schlussfolgert, dass das Design der Konfidenzskala die Qualität verbalisierter Unsicherheitsangaben direkt beeinflusst. Die Autoren fordern daher, die Skalenwahl als eine erstrangige experimentelle Variable in der Evaluation von Sprachmodellen zu behandeln - also nicht mehr als nebensächliches technisches Detail. Die Arbeit umfasst 20 Seiten. Details zu den verwendeten Modellen und Datensätzen sowie zu den genauen Werten, auf die sich die 78-Prozent-Konzentration bezieht, sind im vorliegenden Abstract nicht ausgeführt.
Google · Deine QuellenWissnox höher in Ihrem Google - mit einem KlickZu bevorzugten Quellen hinzufügen →Was bedeutet das
Ich halte diesen Befund für praktisch relevant, auch wenn er auf den ersten Blick technisch klingt. Verbalisierte Konfidenz wird zunehmend als Werkzeug eingesetzt, um zu beurteilen, wann man einem Modell vertrauen kann - etwa in medizinischen oder rechtlichen Anwendungen. Wenn aber mehr als drei Viertel aller Konfidenzangaben auf nur drei Werte zusammenschrumpfen, ist dieser Mechanismus weitgehend wertlos, egal wie präzise er auf dem Papier klingt. Dass eine schlichtere 0-20-Skala besser funktioniert als die übliche 0-100-Skala, ist ein konkreter, prüfbarer Hinweis, den Entwickler und Forscher direkt umsetzen könnten. Gleichzeitig zeigt die Persistenz der Rundungsneigung, dass das Problem nicht allein durch Skalendesign lösbar ist - es deutet auf ein grundlegenderes Verhalten der Modelle hin, das weitere Untersuchung verdient.
Quelle: arXiv cs.AI: Rescaling Confidence: What Scale Design Reveals About LLM Metacognition (dokument z 2026-09-12). Diese Besprechung entstand auf Grundlage des vollständigen Dokumenttextes, nicht auf Basis von Medienberichten.
Häufig gestellte Fragen
Welche Konfidenzskala liefert bei Sprachmodellen die genauesten Selbsteinschätzungen?
Die Skala von 0 bis 20 schneidet laut der Studie konsistent besser ab als die übliche 0-bis-100-Skala. Sie verbessert die metakognitive Effizienz, weil die Modelle ihre Unsicherheit auf diesem engeren Bereich genauer abbilden.
Warum sind verbalisierte Konfidenzwerte von KI-Modellen oft unzuverlässig?
Weil mehr als 78 Prozent aller Antworten auf nur drei runde Zahlenwerte entfallen, statt die volle Bandbreite der Skala zu nutzen. Diese starke Diskretisierung verhindert, dass feine Unterschiede in der tatsächlichen Unsicherheit abgebildet werden können.
Was misst der Kennwert meta-d' bei Sprachmodellen?
Meta-d' misst die metakognitive Effizienz, also wie gut ein Modell seine eigene Richtigkeit einschätzen kann. Die Studie von Yuyang Dai und Yuxia Wang verwendet diesen Kennwert, um die Qualität verbalisierter Selbsteinschätzungen unter verschiedenen Skalenbedingungen zu vergleichen.
Kann man die Rundungsneigung von KI-Modellen durch eine andere Skaleneinteilung beheben?
Nein, auch eine unregelmäßige Skaleneinteilung beseitigt die Vorliebe der Modelle für runde Zahlen nicht. Die Autoren schlussfolgern daraus, dass dieses Verhalten tief im Modellverhalten verankert ist und weitere Untersuchung verdient.
More on this from WISSNOX
nachrichten·Tagesabschluss:OpenAI schweigt zu RubyGems-Angriff - Transparenz als Ausnahme👁 112 Aufrufe// kurz gesagtEine Skala von 0 bis 20 verbessert die metakognitive Effizienz von Sprachmodellen konsistent gegenüber der üblichen 0-bis-100-Skala.