KI-Wörterbuch / Inference
⚙️ Technika
Inference
Der Moment, in dem das Modell eine Antwort auf Ihre Anfrage generiert (im Gegensatz zum Training).
Inference (Inferenz) ist die Phase, in der das trainierte Modell verwendet wird: Es erhält Ihre Anfrage und generiert eine Antwort, Token für Token. Das unterscheidet die alltägliche Modellarbeit vom Training, das einmal zuvor auf riesigen Datenmengen stattfand. Die Betriebskosten von KI-Diensten sind hauptsächlich Inference-Kosten - deshalb optimieren Anbieter sie durch Quantisierung, bessere Hardware und Architekturen wie MoE. Wenn der Chat die Antwort „live schreibt", beobachten Sie Inference in Echtzeit, meist in Streaming-Variante.
Verwandte Begriffe