› Verstärkungslernen (Reinforcement Learning, RL) wird heute häufig eingesetzt, um die Reasoning-Fähigkeiten großer Sprach- und Vision-Sprachmodelle zu verbessern.
› Das gängige Vorgehen: Das Modell bekommt am Ende eine binäre Belohnung - richtig oder falsch.
› Das Problem dabei ist, dass diese sogenannten "sparse binary outcome rewards" nur das Endergebnis bewerten und nicht erkennen können, welche Zwischenschritte zum richtigen Ergebnis geführt haben.
› Bei multimodalen Aufgaben entsteht ein weiteres Problem: Solche Belohnungen können auch dann vergeben werden, wenn das Modell die Antwort allein aus sprachlichen Mustern ableitet, ohne das Bild wirklich zu verarbeiten.