Qwen3.6-27B lokal auf der RTX 4090: Was passt
Qwen3.6-27B ist ein dichtes 27B-Modell unter Apache 2.0. Wir rechnen nach, welche Quantisierung mit 128K Kontext in 24 GB passt, und zeigen die Einstellungen.
👁 115 Aufrufe
Qwen3.6-27B taucht gerade überall dort auf, wo Leute lokale Coding-Assistenten bauen. Neu ist das Modell allerdings nicht: Das Hugging-Face-Repository Qwen/Qwen3.6-27B wurde am 21. April 2026 angelegt, die letzte Dateiänderung stammt vom 24. April. Es ist also seit einem halben Jahr verfügbar, unter der Model Card hängen 754 Community-Quantisierungen, und in Ollama hat es eine eigene Tag-Familie. Neu ist nur, dass es inzwischen viele als lokalen Coding-Helfer nutzen. Wir haben das Modell nicht auf Geschwindigkeit gemessen. Was folgt, ist eine Rechnung aus Dateigrößen und Konfiguration, kein Messwert.
Dicht statt MoE
Qwen3.6-27B stammt von Alibaba (Qwen) und steht unter Apache 2.0, kommerzielle Nutzung, Veränderung und Weitergabe sind also erlaubt. Es hat 27 Milliarden Parameter (27,8 Milliarden in BF16) und ist dicht: Für jedes Token sind alle Parameter aktiv. Das Schwestermodell Qwen3.6-35B-A3B ist ein Mixture-of-Experts mit rund 3 Milliarden aktiven von 35 Milliarden Parametern. Es kann schneller sein, braucht für die Gewichte aber mehr Speicher.
Das Modell liest Text, Bilder und Video. Der native Kontext liegt bei 262.144 Tokens, mit YaRN sind bis zu 1,01 Millionen möglich, wobei Qwen warnt, dass die Erweiterung Ergebnisse bei kurzen Texten verschlechtern kann. Für das Denken empfiehlt Qwen mindestens 128K Kontext.
Warum der KV-Cache klein bleibt: DeltaNet
Das Modell hat 64 Schichten in 16 Blöcken. Jeder Block besteht aus drei Gated-DeltaNet-Schichten und einer normalen Attention-Schicht. DeltaNet ist lineare Attention: Statt jedes Token zu speichern, hält es einen Zustand fester Größe. Damit haben nur 16 der 64 Schichten den mitwachsenden KV-Cache. Genau das macht 128K Kontext auf einer 24-GB-Karte überhaupt realistisch.
Herstellerbenchmarks
Die Zahlen stammen aus der Model Card, eine unabhängige Nachprüfung haben wir nicht gesehen. Damit die Tabellen lesbar bleiben, haben wir sie geteilt.
| Benchmark | Qwen3.6-27B | Qwen3.5-27B | Qwen3.5-397B-A17B |
|---|---|---|---|
| SWE-bench Verified | 77,2 | 75,0 | 76,2 |
| Terminal-Bench 2.0 | 59,3 | 41,6 | 52,5 |
| SkillsBench Avg5 | 48,2 | 27,2 | 30,0 |
| GPQA Diamond | 87,8 | 85,5 | 88,4 |
| MMLU-Pro | 86,2 | 86,1 | 87,8 |
| Benchmark | Qwen3.6-27B | Gemma 4 31B | Claude Opus 4.5 |
|---|---|---|---|
| SWE-bench Verified | 77,2 | 52,0 | 80,9 |
| Terminal-Bench 2.0 | 59,3 | 42,9 | 59,3 |
| SkillsBench Avg5 | 48,2 | 23,6 | 45,3 |
| GPQA Diamond | 87,8 | 84,3 | 87,0 |
| MMLU-Pro | 86,2 | 85,2 | 89,5 |
So lesen wir das: Beim agentischen Programmieren holt das 27B-Modell seinen 397B-Vorgänger ein und liegt bei Terminal-Bench gleichauf mit Claude Opus 4.5. Opus 4.5 ist aber eine ältere Generation, das aktuelle Opus 5.5 steht nicht in der Tabelle. Beim Allgemeinwissen (MMLU-Pro) tut sich gegenüber 3.5 praktisch nichts. Beim Code liegt Qwen weit vor Gemma 4 31B, das wir in Gemma 4 31B lokal auf der RTX 4090 beschrieben haben.
Die VRAM-Rechnung
Das ist unsere Berechnung, keine Messung. Für die Gewichte nehmen wir die echten GGUF-Dateigrößen aus unsloth/Qwen3.6-27B-GGUF in Dezimal-GB. Die Karte hat 24 GiB, also rund 25,8 GB. Der KV-Cache: 16 Schichten mit voller Attention, 4 KV-Heads, Kopfdimension 256. Das ergibt in FP16 64 KiB pro Token, also 2,15 GB bei 32K, 8,59 GB bei 128K und 17,18 GB beim vollen 262K-Kontext. Mit q8_0 halbiert sich das ungefähr auf 1,14 / 4,56 / 9,13 GB. Der feste DeltaNet-Zustand kostet rund 0,15 GB. Für Treiber, Windows-Desktop und Rechenpuffer reservieren wir 1,5 GB (Annahme). Nutzbar bleiben etwa 24,3 GB. Wie die Quantisierungsstufen grundsätzlich funktionieren, erklärt unser Text zur GGUF-Quantisierung.
| Variante | Datei | Mit 128K (q8_0) | Urteil |
|---|---|---|---|
| Q3_K_M | 13,59 GB | 18,3 GB | passt sogar mit vollen 262K (22,9 GB) |
| IQ4_XS | 15,44 GB | 20,2 GB | ja, voller Kontext nein (24,7 GB) |
| Q4_K_M | 16,82 GB | 21,5 GB | ja, mit FP16-Cache nein (25,6 GB) |
| UD-Q4_K_XL | 17,61 GB | 22,3 GB | ja, auch mit Vision-Modul (23,3 GB) |
| Q5_K_M | 19,51 GB | 24,2 GB | grenzwertig, sicherer mit 64K (21,9 GB) |
| Q6_K | 22,52 GB | 27,2 GB | nur kurzer Kontext 32K (23,8 GB) |
| Q8_0 | 28,60 GB | - | passt nicht |
Das Vision-Modul (mmproj F16) kostet zusätzlich 0,93 GB und wird nur für Bilder oder Screenshots gebraucht.
Unsere Empfehlung
Q4_K_M oder UD-Q4_K_XL mit 128K Kontext und q8_0-KV-Cache. Damit erfüllen Sie Qwens Kontextempfehlung für das Denken und haben noch ein paar GB Luft. Q5_K_M lohnt sich für kürzere Aufgaben. Q6_K heißt, auf langen Kontext zu verzichten, also auf Agentenarbeit an einem ganzen Repository.
Einstellungen für Ollama und llama.cpp
In Ollama ist das Standard-Tag qwen3.6:27b 18-19 GB groß, qwen3.6:27b-q4_K_M 17 GB. Für langen Kontext setzen Sie Flash Attention und den quantisierten Cache, die Länge über OLLAMA_CONTEXT_LENGTH. Welches Werkzeug besser zu Ihnen passt, vergleichen wir in Ollama vs. LM Studio.
OLLAMA_FLASH_ATTENTION=1
OLLAMA_KV_CACHE_TYPE=q8_0
OLLAMA_CONTEXT_LENGTH=131072
ollama run qwen3.6:27b-q4_K_MIn llama.cpp lauten die passenden Parameter:
-c 131072 -fa on -ctk q8_0 -ctv q8_0Geschwindigkeitswerte nennen wir bewusst nicht, weil wir sie nicht gemessen haben. Wer das Vision-Modul nicht braucht, lässt es weg und gewinnt knapp ein Gigabyte für Kontext. Und wer neben dem Modell noch Browser, IDE und Videocall offen hat, sollte die 1,5 GB Reserve eher großzügiger ansetzen.
FAQ
Läuft Qwen3.6-27B auf einer 16-GB-Karte?
Nur stark komprimiert. Q3_K_M mit 13,59 GB lässt wenig Platz für Kontext. UD-IQ2_M mit 10,85 GB lässt mehr, kostet aber Qualität.
Kann ich die volle BF16-Version nutzen?
Die bf16-Variante in Ollama ist 56 GB groß. Auf einer einzelnen Consumer-Karte geht das ohne Quantisierung nicht.
Ist das Modell neu?
Nein, es ist seit April 2026 verfügbar. Neu ist nur der Hype als lokaler Coding-Assistent.
Darf ich es kommerziell nutzen?
Ja, Apache 2.0 erlaubt kommerzielle Nutzung, Veränderung und Weitergabe.
Wozu brauche ich das Vision-Modul?
Nur wenn das Modell Bilder oder Screenshots lesen soll. Es kostet 0,93 GB zusätzlich.
Mehr zu lokalen Modellen finden Sie unter Lokale KI.
Google · Deine QuellenWissnox höher in Ihrem Google - mit einem KlickZu bevorzugten Quellen hinzufügen →Quellen - abgerufen am 1. November 2026
- Hugging Face: Qwen3.6-27B Model Card (abgerufen 1.11.2026)
- Hugging Face API: Repository-Daten, Lizenz, Parameter (abgerufen 1.11.2026)
- Hugging Face: config.json (abgerufen 1.11.2026)
- Hugging Face: unsloth/Qwen3.6-27B-GGUF (abgerufen 1.11.2026)
- Ollama: qwen3.6 Tags (abgerufen 1.11.2026)
- Gigazine: Qwen3.6-27B (23.04.2026)
More on this from WISSNOX
nachrichten·Falsche Lokalzeitungen manipulieren ChatGPT37 Websites, an einem Abend registriert, geben sich als Lokalzeitungen aus und landen in ChatGPT-Antworten. Was NPR herausfand und wie Sie Quellen prüfen.