› Das Dateiformat GGUF bündelt Gewichte und Metadaten lokaler Sprachmodelle für llama.cpp, während Kürzel wie Q4_K_M, Q6_K oder Q8_0 den Grad der Kompression angeben.
› Die GGUF Quantisierung bestimmt maßgeblich, wie viel Grafikspeicher ein Modell belegt und wie schnell es antwortet: Q4_K_M markiert das solide Minimum für den Alltag, Q5_K_M und Q6_K agieren nahezu verlustfrei, und Q8_0 lohnt sich primär bei üppigem VRAM.
› Wer seinen PC vorbereiten will, findet im Überblick zu lokale KI-Modelle die passenden Grundlagen.Stand: 17.
› Oktober 2026Offizielle GGUF-Dateien von Bielik v3.0 stammen von SpeakLeash auf Hugging Face (Apache-2.0-Lizenz, kommerzielle Nutzung erlaubt).Das 1.5B-Repository führt F16 und Q8_0, 4.5B führt F16 und Q8_0, während 11B die Stufen Q4_K_M, Q5_K_M, Q6_K, Q8_0, BF16 und F16 anbietet.Ich habe die Messungen mit llama.cpp (CUDA-Build 11194 vom 26.