KI-Wörterbuch / Quantisierung
🏗️ Modelle und Training
Quantisierung
Verschlankung des Modells durch Speicherung von Zahlen mit geringerer Präzision - funktioniert schneller und auf schwächerer Hardware.
Quantisierung ist eine Technik zur Verschlankung des Modells: Seine Gewichte werden mit geringerer numerischer Präzision gespeichert (z. B. 4-Bit statt 16-Bit), wodurch die Datei mehrfach weniger Speicher belegt und Berechnungen beschleunigt werden. Der Preis ist ein geringer, oft unmerklicher Qualitätsverlust. Dank Quantisierung lassen sich große offene Modelle auf dem Heimcomputer mit Grafikkarte und sogar auf dem Laptop ausführen. Beliebte Formate quantisierter Modelle kursieren in der Self-Hosting-Community und sind die Grundlage für lokales Ausführen von KI.
Verwandte Begriffe