SORT: Wie KI-Modelle auch aus völlig falschen Antworten noch lernen

👁 117 Aufrufe

Wer sich mit dem Training von Sprachmodellen beschäftigt, kennt das Problem: Reinforcement Learning mit überprüfbaren Belohnungen - auf Englisch „Reinforcement Learning with Verifiable Rewards“ - hilft Modellen beim logischen Schlussfolgern. Doch die populäre Methode namens GRPO steckt fest, sobald die Aufgaben zu schwer werden. Konkret: Wenn das Modell bei einem Prompt alle möglichen Antworten falsch generiert, gibt es kein nützliches Lernsignal mehr. Das Training stagniert.

Was SORT anders macht

Die Forscher - Anh Duc, Tien-Phat Nguyen, Thien Huu Nguyen, Linh Ngo Van und Trung Le - schlagen mit SORT (Selective Off-Policy Reference Tuning) einen Weg vor, der genau für diese Situation gedacht ist. Der Kern der Methode: SORT fügt einen sogenannten „Repair Update“ für fehlgeschlagene Prompts hinzu, verändert aber nicht, wie das Modell seine Antworten erzeugt.

So funktioniert es laut Zusammenfassung des Papiers: SORT leitet einen Plan aus der Referenzlösung ab - also aus der bekannten, richtigen Antwort. Dann vergleicht das Verfahren die Token-Wahrscheinlichkeiten mit und ohne diesen Plan. Tokens, die unter Einbeziehung des Plans vorhersehbarer werden, erhalten ein höheres Gewicht beim Lernen. Das Ergebnis: Prompts, bei denen das Modell komplett falsch lag, liefern nun ein selektives, strukturbewusstes Lernsignal - anstatt das Modell einfach uniform zur Imitation der Referenzlösung zu zwingen.

Die Ergebnisse im Überblick

Die Autoren haben SORT auf drei verschiedenen Basis-Modellen (im Papier als „Backbones“ bezeichnet) und acht Reasoning-Benchmarks getestet. Das Ergebnis: SORT verbessert die Leistung gegenüber GRPO und gegenüber sogenannten Guidance-Baselines. Die größten Verbesserungen zeigen sich laut Zusammenfassung bei schwächeren Modellen.

Konkrete Zahlen zu den Benchmark-Ergebnissen werden im Abstract nicht genannt. Details zu den verwendeten Benchmarks, den genauen Modellgrößen oder den Verbesserungsmargen in Prozentpunkten sind im gelieferten Text nicht vorhanden - sie befinden sich im vollständigen PDF des Papiers, das hier nicht vorlag.

Einordnung des Dokuments

Das Papier wurde am 12. Mai 2026 auf arXiv eingereicht und zuletzt am 24. September 2026 in der Version 3 aktualisiert. Es ist unter der Kategorie „Artificial Intelligence“ (cs.AI) gelistet. Das Papier ist kein offizielles Dokument eines einzelnen KI-Labors, sondern eine akademische Veröffentlichung von Forschern, deren institutionelle Zugehörigkeit im gelieferten Text nicht angegeben ist. Es handelt sich um ein Preprint, das noch kein offizielles Peer-Review-Verfahren durchlaufen haben muss.

Was bedeutet das

Meiner Einschätzung nach adressiert SORT ein echtes, praktisches Problem beim Training von Reasoning-Modellen: Den toten Winkel des GRPO-Ansatzes bei sehr schwierigen Aufgaben. Die Idee, plan-konditionierte Token-Wahrscheinlichkeiten als Gewichtungsmechanismus zu nutzen, klingt methodisch sauber - sie vermeidet blinde Imitation und fokussiert das Lernsignal auf strukturell relevante Stellen. Besonders interessant finde ich den Befund, dass schwächere Modelle am meisten profitieren: Das deutet darauf hin, dass SORT nicht nur ein theoretisches Werkzeug ist, sondern dort ansetzen könnte, wo Ressourcen begrenzt sind. Da mir aber die vollständigen experimentellen Daten nicht vorlagen, kann ich nicht beurteilen, wie groß die Verbesserungen in der Praxis tatsächlich sind.

Quelle: arXiv cs.AI: Selective Off-Policy Reference Tuning with Plan Guidance (dokument z 2026-09-28). Diese Besprechung entstand auf Grundlage des vollständigen Dokumenttextes, nicht auf Basis von Medienberichten.

// weiterlesenKI-Agenten liefern falsche Antworten mit korrekten Zahlen - eine PrüfstudieNachrichtenSequential Attention: Wie KI-Modelle lernen, Überflüssiges zu ignorieren - und warum das so schwer istAlgorithmenWelche KI für was? 50 Antworten mit Tests und PreisenAnleitungen

Kinetyra