TurboQuant: Wie ein 1-Bit-Trick Googles KI-Sprachmodelle sechsmal schlanker macht

Man stelle sich eine Bibliothek vor, die ständig wächst. Jedes neue Buch macht die Suche nach einem bestimmten Zitat minimal langsamer, weil der Katalog immer unhandlicher wird. In der Welt der Künstlichen Intelligenz ist dieser Katalog der sogenannte Key-Value-Cache - ein hochdynamischer Notizzettel, auf dem ein Sprachmodell blitzschnell vermerkt, was es gerade gelesen hat, um den Faden nicht zu verlieren. Das Problem: Bei langen Texten oder komplexen Programmcodes schwillt dieser Cache auf ungeheure Größe an und wird zum Flaschenhals, der Rechenzentren selbst mit modernster Hardware in die Knie zwingt. Googles Forschungsteam hat nun eine Lösung vorgestellt, die so elegant wie radikal ist: Statt den Notizzettel zu vergrößern, haben sie die Schrift erfunden, mit der er geschrieben wird. Der Algorithmus namens TurboQuant komprimiert die Daten derart effizient, dass der Speicherverbrauch um das Sechsfache sinkt - und das ohne jeden Verlust an Genauigkeit.

Das Flaschenhals-Dilemma der großen Modelle

Um zu verstehen, warum diese Entwicklung so bedeutsam ist, muss man in die Tiefen der Transformer-Architektur blicken. Moderne Sprachmodelle verarbeiten Informationen als hochdimensionale Vektoren - mathematische Gebilde, die die Bedeutung eines Wortes im Kontext eines Satzes abbilden. Während das Modell einen Text liest, speichert es diese Vektoren in seinem Key-Value-Cache. Bei jedem neuen Wort muss es diese gespeicherten Informationen mit der aktuellen Eingabe abgleichen, ein Prozess, der als Aufmerksamkeitsmechanismus bezeichnet wird. Je länger der Text, desto mehr Vektoren stapeln sich im Cache. Das kostet nicht nur wertvollen Speicherplatz, sondern bremst auch die Geschwindigkeit, mit der das Modell antworten kann. Herkömmliche Komprimierungsverfahren, die diese Vektoren verkleinern, tragen einen entscheidenden Makel: Sie benötigen selbst wiederum Speicherplatz für ihre Komprimierungsanweisungen, einen „Memory Overhead“, der dem eigentlichen Zweck der Speicherersparnis zuwiderläuft.

Der geniale Perspektivwechsel: Von Quadraten zu Kreisen

An dieser Stelle setzt TurboQuant mit einem konzeptionellen Kniff an, der an den Wechsel von einem kartesischen zu einem polaren Koordinatensystem erinnert. Die Forscher Amir Zandieh und Vahab Mirrokni vom Google-Research-Team haben diesen Ansatz in einem Teilverfahren namens PolarQuant realisiert. Man stelle sich vor, man beschreibt einen Punkt in einer Stadt nicht mit der Anweisung „Gehen Sie drei Blocks nach Osten und vier Blocks nach Norden“, sondern mit „Gehen Sie fünf Blocks in einem Winkel von 37 Grad“. Die zweite Beschreibung ist nicht nur kürzer, sie nutzt auch ein Raster, dessen Grenzen von Natur aus feststehen. In der Mathematik der Vektoren bedeutet das: PolarQuant überführt die Daten in eine Darstellung aus Radius und Winkel. Da die Verteilung der Winkel bekannt und stark konzentriert ist, entfällt die aufwändige Normalisierung der Daten, die bei herkömmlichen Verfahren den teuren Overhead verursacht. Die Daten werden auf ein fixes, vorhersagbares „kreisförmiges“ Raster abgebildet, dessen Grenzen sich nicht ständig ändern. Dieser Schritt allein eliminiert den Speicher-Overhead, der klassische Methoden plagt.

Der 1-Bit-Trick: Fehlerkorrektur ohne Extrakosten

Doch selbst die eleganteste Kompression erzeugt winzige Fehler. Hier kommt der zweite, fast schon verblüffende Teil des Algorithmus zum Tragen: Quantized Johnson-Lindenstrauss, kurz QJL. Dieses Verfahren nutzt eine mathematische Technik, die beweist, dass sich die wesentlichen Abstände zwischen Datenpunkten in hochdimensionalen Räumen auch in einer stark vereinfachten Darstellung erhalten lassen. QJL reduziert jede Zahl eines Vektors auf ein einziges Bit - ein simples Plus oder Minus. Es entsteht eine Art stenografische Kurzschrift, die null zusätzlichen Speicher benötigt. Dieser 1-Bit-Code fungiert als mathematischer Fehlerprüfer, der die minimale Verzerrung aus dem ersten Kompressionsschritt nicht nur erkennt, sondern aktiv neutralisiert. Er balanciert eine hochpräzise Anfrage mit den vereinfachten Daten so aus, dass der Aufmerksamkeitswert, der bestimmt, welche Teile eines Textes wichtig sind und welche ignoriert werden können, exakt erhalten bleibt.

Sechsmal kleiner, kein bisschen dümmer

Die Ergebnisse der in Tests mit den offenen Modellen Gemma und Mistral durchgeführten Experimente sind frappierend. In der Gesamtschau der Benchmarks, die von der Beantwortung von Fragen über die Generierung von Code bis hin zur Zusammenfassung von Texten reichen, erreichte TurboQuant eine perfekte Übereinstimmung mit den unkomprimierten Modellen. Selbst bei der berüchtigten „Nadel-im-Heuhaufen“-Aufgabe, bei der ein Modell eine einzelne, winzige Information in einem riesigen Textkorpus finden muss, blieb die Leistung selbst bei einer Reduktion des Key-Value-Caches auf magere 3 Bit pro Wert fehlerfrei. Der Speicherverbrauch des Caches sank dabei um mindestens das Sechsfache. Noch bemerkenswerter: Die Laufzeit verbesserte sich dramatisch. Auf H100-GPU-Beschleunigern erreichte eine 4-Bit-Version von TurboQuant eine bis zu achtfache Geschwindigkeitssteigerung bei der Berechnung der Aufmerksamkeitswerte im Vergleich zu unkomprimierten 32-Bit-Schlüsseln. Das Modell wird also nicht nur schlanker, sondern auch schneller - und das ganz ohne aufwändiges Nachtrainieren oder Feintuning.

Die Implikationen dieser Technologie, die auf der ICLR 2026 vorgestellt wird, reichen weit über die reine Textverarbeitung hinaus. Sie betrifft die Vektorsuche, die Hochgeschwindigkeitstechnologie hinter großen Suchmaschinen und KI-Anwendungen, ebenso wie alle Bereiche, in denen riesige Datenmengen in Echtzeit durchforstet werden müssen. Was wie eine abstrakte mathematische Spielerei klingt, ist in Wahrheit ein fundamentaler Baustein für eine KI-Zukunft, in der komplexe Modelle nicht länger die teuersten und energiehungrigsten Rechenzentren der Welt benötigen, um ihr volles Potenzial zu entfalten.

Quellen:

• TurboQuant: Redefining AI efficiency with extreme compression (Google Research Blog)
• Gemini 3 Deep Think: Advancing science, research and engineering (DeepMind Blog)
• Eroding ACA enrollment portends higher insurance rates (Medical Xpress)
• Gemini 3.1 Flash Live: Making audio AI more natural and reliable (DeepMind Blog)
• AI not yet good enough to grade university essays, rewarding ’style over substance‘ (Phys.org)
• OpenAI and Malta partner to bring ChatGPT Plus to all citizens (OpenAI Blog)

// weiterlesenGoogle AI Ultra: Funktionen, Limits und Vergleich mit ProMagazinGemini 4 Argon: Google startet weltweiten RolloutNachrichtenGemini 4 Argon Preise: API ab 2 USD und Google-AI-AbosKI-Werkzeuge

Kinetyra