› September 2026 haben Yibin Huang, Xinming Xu und Conghui Zhu auf arXiv ein Paper eingereicht, das sich mit einem konkreten Problem beim Training sogenannter agentischer KI-Modelle befasst - also Modelle, die über mehrere Gesprächsschritte hinweg selbstständig handeln, Informationen sammeln und Feedback verarbeiten sollen.Das Problem: Starrer Lehrerdruck bremst das SchülermodellDas Paper beschreibt, dass ein weit verbreiteter Trainingsansatz namens GRPO - ein Verstärkungslernen-Algorithmus - bei kleinen Modellen früh in der Trainingsphase schlecht funktioniert, weil die Belohnungssignale zu selten und zu grob sind.
› Um das abzumildern, kombinieren neuere Methoden diesen Ansatz mit sogenannter On-Policy Distillation (OPD): Ein stärkeres Lehrermodell gibt dem schwächeren Schülermodell während des Trainings Orientierung.Die Autoren identifizieren dabei zwei grundlegende Schwächen des bisherigen Vorgehens.
› Erstens wird das Mischungsverhältnis zwischen Lehrervorgaben und eigenem Belohnungslernen während des gesamten Trainings konstant gehalten.
› Das bedeutet: Je weiter das Training fortschreitet, desto mehr hindert der anhaltende Lehrerdruck das Modell daran, über die Fähigkeiten des Lehrers hinauszuwachsen.