KI-Wörterbuch / VRAM
⚙️ Technika
VRAM
Grafikartenspeicher - er entscheidet, wie groß ein Modell sein kann, das Sie lokal ausführen können.
VRAM ist der Arbeitsspeicher der Grafikkarte. Beim lokalen Ausführen von KI ist er die Hauptbeschränkung: Das Modell muss in den VRAM passen, um schnell zu funktionieren. Daher lautet die erste Frage beim Self-Hosting nicht „welcher Prozessor", sondern „wie viel VRAM hast du". Orientierungswerte: Kleine Modelle passen in 8 GB, mittlere benötigen mehrere Dutzend, große - Dutzende Gigabyte. Quantisierung ermöglicht es, ein größeres Modell in weniger Speicher zu packen, auf Kosten etwas Qualität; eine Alternative ist gemeinsamer Speicher in Apple-Computern.
Verwandte Begriffe