KI-Wörterbuch / Latenz (Verzögerung)

⚙️ Technika

Latenz ist die Verzögerung zwischen dem Absenden einer Anfrage und der Reaktion des Modells - in der Praxis misst man meist die Zeit bis zum ersten Token der Antwort. Für flüssige Sprachgespräche oder Code-Vervollständigung zählen Sekundenbruchteile; bei der Erstellung eines Berichts spielt Latenz eine geringere Rolle. Die Latenz hängt von der Modellgröße, der Serverauslastung, der Prompt-Länge und dem Betriebsmodus ab (reasoning-Modelle „denken" spürbar länger). Entwickler jonglieren oft mit Modellen: ein schnelles für sofortige Reaktionen, ein leistungsstarkes für Aufgaben, bei denen der Nutzer warten kann.