› Man stelle sich eine Bibliothek vor, die ständig wächst.
› Jedes neue Buch macht die Suche nach einem bestimmten Zitat minimal langsamer, weil der Katalog immer unhandlicher wird.
› In der Welt der Künstlichen Intelligenz ist dieser Katalog der sogenannte Key-Value-Cache - ein hochdynamischer Notizzettel, auf dem ein Sprachmodell blitzschnell vermerkt, was es gerade gelesen hat, um den Faden nicht zu verlieren.
› Das Problem: Bei langen Texten oder komplexen Programmcodes schwillt dieser Cache auf ungeheure Größe an und wird zum Flaschenhals, der Rechenzentren selbst mit modernster Hardware in die Knie zwingt.