› Wer sich mit dem Training von Sprachmodellen beschäftigt, kennt das Problem: Reinforcement Learning mit überprüfbaren Belohnungen - auf Englisch "Reinforcement Learning with Verifiable Rewards" - hilft Modellen beim logischen Schlussfolgern.
› Doch die populäre Methode namens GRPO steckt fest, sobald die Aufgaben zu schwer werden.
› Konkret: Wenn das Modell bei einem Prompt alle möglichen Antworten falsch generiert, gibt es kein nützliches Lernsignal mehr.
› Das Training stagniert.Was SORT anders machtDie Forscher - Anh Duc, Tien-Phat Nguyen, Thien Huu Nguyen, Linh Ngo Van und Trung Le - schlagen mit SORT (Selective Off-Policy Reference Tuning) einen Weg vor, der genau für diese Situation gedacht ist.