Schrittweise Belohnungen für KI-Reasoning ohne externe Annotation
Forscher schlagen eine neue Methode vor, die große Sprachmodelle beim logischen Schlussfolgern besser trainiert - ohne fremde Annotationen oder Hilfsmodelle. Die Methode misst, wie jeder einzelne Denkschritt zur richtigen Antwort beiträgt.
👁 115 Aufrufe
Verstärkungslernen (Reinforcement Learning, RL) wird heute häufig eingesetzt, um die Reasoning-Fähigkeiten großer Sprach- und Vision-Sprachmodelle zu verbessern. Das gängige Vorgehen: Das Modell bekommt am Ende eine binäre Belohnung - richtig oder falsch. Das Problem dabei ist, dass diese sogenannten „sparse binary outcome rewards“ nur das Endergebnis bewerten und nicht erkennen können, welche Zwischenschritte zum richtigen Ergebnis geführt haben. Bei multimodalen Aufgaben entsteht ein weiteres Problem: Solche Belohnungen können auch dann vergeben werden, wenn das Modell die Antwort allein aus sprachlichen Mustern ableitet, ohne das Bild wirklich zu verarbeiten.
Das Kernproblem mit bisherigen Lösungen
Es gibt bereits sogenannte Process Reward Models (PRMs), die eine dichtere Überwachung einzelner Schritte ermöglichen. Diese erfordern jedoch in der Regel Prozessannotationen, Hilfsmodelle oder eine aufwendige Suche zur Inferenzzeit. Damit sind sie teuer und schwer skalierbar.
Die neue Methode: Stepwise Marginal Information Gain
Das Forscherteam um Xiangwei Wang stellt in dem Papier eine Methode namens Stepwise Marginal Information Gain (MIG) vor - eine intrinsische Prozessbelohnung, die ausschließlich aus dem Modell selbst berechnet wird. MIG misst, wie jedes strukturierte Reasoning-Präfix die längen-normalisierte, teacher-forced Log-Likelihood der Referenzantwort verändert. Auf Deutsch: Das System schaut bei jedem Denkschritt, ob die Wahrscheinlichkeit der richtigen Antwort gestiegen ist - und nur dann, wenn ein neuer Höchstwert erreicht wird, gibt es eine Belohnung. Dieses sogenannte „monotone historical watermark“-Prinzip verhindert, dass das Modell mehrfach für denselben Fortschritt belohnt wird, etwa nach einem Umweg, der zum gleichen Punkt zurückführt.
Das MIG-Signal wird mit Ergebnis- und Formatbelohnungen kombiniert sowie mit einem Ziel, das nur strukturell korrekte und inhaltlich richtige Trajektorien beibehält - die Autoren nennen das „gated self-distillation objective“. Für Vision-Sprachmodelle gibt es zusätzlich einen Mechanismus, der Belohnungen reduziert, wenn das Modell eine Antwort vorhersagen kann, ohne das Bild zu berücksichtigen. Diesen nennen die Autoren einen „real-versus-blank likelihood gate“.
Ergebnisse auf acht Benchmarks
Die Forscher testen ihre vollständige Methode auf acht aufgabenspezifischen Benchmarks. In allen Einzelvergleichen übertrifft die Methode das sogenannte outcome-only GRPO-Training. Im breiteren Datentransfer verbessert sie die durchschnittliche Genauigkeit um bis zu 4,8 Punkte gegenüber dem Training mit binären Belohnungen. Auf dem Benchmark MathVerse werden 12,6 Punkte Verbesserung erreicht. Bei einem Modell mit 7 Milliarden Parametern übertrifft die Methode eine externe PRM-BoN@16-Baseline um 12,9 Punkte beim Vision-Language-Transfer - und das ohne Reranking zur Inferenzzeit.
Die Autoren schlussfolgern, dass eine aus der Policy selbst abgeleitete schrittweise Kreditvergabe eine annotierungsfreie Alternative zur expliziten Prozessbelohnungsmodellierung darstellt.
Angaben zu Datensätzen, Modellarchitekturen und Trainingsdetails über das im Abstract Genannte hinaus sind im gelieferten Text nicht enthalten. Ob und wo der Quellcode verfügbar ist, wird im gelieferten Text ebenfalls nicht angegeben.
Google · Deine QuellenWissnox höher in Ihrem Google - mit einem KlickZu bevorzugten Quellen hinzufügen →Was bedeutet das
Meiner Einschätzung nach adressiert diese Arbeit ein echtes, praktisches Hindernis beim Training von Reasoning-Modellen: Der Aufwand für Prozessannotationen ist hoch, und externe Hilfsmodelle erzeugen Abhängigkeiten. Wenn MIG tatsächlich vergleichbare Ergebnisse wie annotationsbasierte PRMs liefert - der Vorsprung von 12,9 Punkten gegenüber PRM-BoN@16 bei 7B-Modellen ist bemerkenswert - könnte das den Trainingsaufwand für Labore mit begrenzten Ressourcen deutlich senken. Der Mechanismus gegen sprachliche Abkürzungen bei Bildaufgaben scheint mir besonders relevant, da dieses Problem in der multimodalen KI-Forschung bislang selten so direkt adressiert wird. Ob die Methode auf deutlich größere Modelle skaliert, lässt sich aus dem vorliegenden Text nicht beurteilen.
Quelle: arXiv cs.AI: Stepwise Intrinsic Rewards for Reasoning in Large Language Models (dokument z 2026-09-28). Diese Besprechung entstand auf Grundlage des vollständigen Dokumenttextes, nicht auf Basis von Medienberichten.
More on this from WISSNOX
benchmarks·Unabhängige KI-Tests: Wissnox LaborWissnox Labor versammelt unabhängige KI-Tests: Sprachmodelle, Video-, Bild- und Audio-Generatoren sowie lokale Modelle auf einer RTX 4090 mit transparenten Messwerten.