Streaming

Streaming ist ein Modus, bei dem das Modell die Antwort laufend sendet, Token für Token, statt mit der vollständigen Ausgabe bis zum Ende der Generierung zu warten. Dadurch „schreiben" Chats auf dem Bildschirm wie ein Mensch an der Tastatur. Über den visuellen Effekt hinaus hat Streaming praktische Bedeutung: Der Nutzer kann sofort zu lesen beginnen, die wahrgenommene Latenz sinkt, und lange Antworten lassen sich unterbrechen, was Zeit und Kosten spart. In APIs ist dies eine Standardoption beim Erstellen eigener Anwendungen.