Gemini 3.8 Flash Kontextfenster-Test: 2 von 5 Modellen versagten

👁 113 Aufrufe

Jeder Anbieter wirbt heute mit Kontextfenstern von einer Million Token. Das klingt nach dem Versprechen, man könne dem Modell ein ganzes Buch geben und nach Details fragen. Wir wollten prüfen, ob das funktioniert, und begannen vorsichtig: nicht mit einer Million, sondern mit fünfundzwanzigtausend Token - etwa drei Prozent des versprochenen Fensters.

Bereits auf diesem Niveau versagten zwei von fünf Modellen. Eines fand den versteckten Satz nicht, das zweite antwortete zweimal überhaupt nicht, trotz fünf Minuten Wartezeit.

So haben wir getestet

Wir bauten einen langen Text auf Polnisch aus eigenen veröffentlichten Artikeln zusammen, also aus natürlicher Sprache und nicht aus generiertem Füllmaterial. Neunzigtausend Zeichen durchgehender Text.

Darin versteckten wir einen Satz, der in diesem Text nicht vorkommen dürfte: eine Information über einen Servicecode für eine Kiste auf dem Dachboden. Den Satz fügten wir an drei verschiedenen Stellen ein: nach zehn Prozent des Textes, in der Mitte und nach neunzig Prozent. Dann baten wir das Modell, nur den Code anzugeben.

Dies ist ein Test für eine Sache: ob das Modell tatsächlich alles gelesen hat oder nur Anfang und Ende.

Ergebnisse

Der gesamte Test kostete 1,31 Dollar.

Drei von fünf bestanden, aber die Kosten unterschieden sich erheblich

Gemini 3.8 Flash, Kimi K3 und GPT-6 Astra fanden den versteckten Satz auf jeder Tiefe. Der Unterschied liegt in der Rechnung.

GPT-6 Astra berechnete 1,00 Dollar für drei Anfragen. Gemini 3.8 Flash erledigte genau dasselbe für 0,059, also siebzehnmal günstiger. Bei einer einzelnen Anfrage sind das dreiunddreißig Cent Unterschied. Bei einem Tool, das täglich Dokumente durchsucht, ist das der Unterschied zwischen einer Rechnung, die man nicht bemerkt, und einer, die man rechtfertigen muss.

Astra hat allerdings einen Vorteil, der in der Live-Arbeit oft entscheidend ist: Er antwortete in zwei Sekunden, am schnellsten von allen fünf, und das unabhängig davon, wo wir den Satz versteckt hatten.

GLM 5.3 Flash antwortete zweimal von dreimal nicht

Das Modell, das unseren Test zur polnischen Grammatik gewonnen hatte, schnitt hier am schlechtesten ab. Bei dem Satz, der bei zehn Prozent und bei neunzig Prozent versteckt war, überschritt es das Limit von fünf Minuten und gab nichts zurück. Es fand nur den Satz, der genau in der Mitte eingefügt war.

Dies ist bereits das dritte Mal, dass uns dasselbe Modell auf dieselbe Weise im Stich lässt. Zuvor verbrauchte es das gesamte Token-Limit für Reasoning und lieferte null Wörter bei der Bitte um einen Artikel, und im Test mit neun Aufgaben gab es dreimal eine leere Antwort zurück und benötigte 353 Sekunden.

Die Ursache ist jedes Mal dieselbe: Bei diesem Modell lässt sich das Reasoning nicht abschalten. Bei einer kurzen Aufgabe erhöht das nur die Rechnung. Bei längerem Input kann es die Antwort vollständig blockieren.

Die Schlussfolgerung ist unbequem, aber man muss sie ziehen: Ein Modell kann sehr gut in der polnischen Sprache sein und gleichzeitig für nichts geeignet, was mit längerem Text arbeitet.

Das Interessanteste ergab sich nebenbei: derselbe Text, unterschiedliche Token-Anzahl

Wir schickten allen Modellen denselben Text. Jedes zählte ihn anders, weil jedes Polnisch auf seine eigene Weise in Token aufteilt.

Dies sind versteckte Kosten, über die niemand spricht, wenn Preislisten verglichen werden. Kimi K3 benötigt für denselben polnischen Text 43 Prozent mehr Token als Gemini. Bei identischem Preis pro Million Token bedeutet das eine um 43 Prozent höhere Rechnung für genau dieselbe Arbeit.

Polnisch ist hier in einer schlechteren Situation als Englisch, weil Modelle hauptsächlich auf englischen Texten trainiert werden und unsere Flexionsendungen in mehr Teile zerlegt werden. Je schlechter die Aufteilung, desto mehr zahlen Sie für denselben Satz.

Eine Überraschung, die wir nicht erklären können

DeepSeek V4 Flash fand den Satz nicht, der bei zehn Prozent des Textes versteckt war, also nahe am Anfang, fand ihn aber problemlos in der Mitte und am Ende. Das ist das Gegenteil dessen, was die Intuition nahelegt, denn der Anfang ist normalerweise am einfachsten.

Wir haben dafür keine Erklärung und werden keine erfinden. Ein Versuch pro Tiefe ist zu wenig, um von einer Regelmäßigkeit zu sprechen. Wir notieren es als Tatsache aus dieser Messung, nicht als Regel.

Was dieser Test nicht aussagt

Wir haben nicht eine Million Token getestet, sondern fünfundzwanzigtausend. Wir wissen also nicht, wie sich diese Modelle beim vollen Fenster verhalten, und niemand weiß das, solange er nicht dafür bezahlt, es zu prüfen.

Wir haben auch nicht das Verständnis getestet, sondern nur das Auffinden. Einen einzelnen Satz zu finden ist die einfachste mögliche Aufgabe bei einem langen Text. Schwierigere Fragen, die das Verbinden von Informationen aus mehreren Stellen erfordern, würden bei allen schlechter ausfallen.

Und etwas, das man bei jedem solchen Vergleich im Hinterkopf behalten muss: Der Preis auf der Modellkarte muss nicht der Preis sein, den Sie zahlen, denn dasselbe Modell wird von einem Dutzend Firmen mit eigenen Tarifen gehostet.

Was folgt daraus praktisch

Zum Durchsuchen von Dokumenten nehmen Sie Gemini 3.8 Flash. Alle Treffer gefunden, drei Sekunden und eine Rechnung, die siebzehnmal niedriger ist als beim teuersten Modell mit demselben Ergebnis. Dazu die beste Aufteilung von Polnisch in Token, was die Kosten noch vor der Fragestellung senkt.

Gehen Sie nicht davon aus, dass das deklarierte Kontextfenster funktioniert. Prüfen Sie es mit Ihrem eigenen Material, indem Sie darin etwas verstecken, das dort nicht sein sollte. Das dauert eine Viertelstunde und klärt mehr als alle Herstellertabellen.

Zählen Sie Token, nicht Zeichen. Bei der Wahl eines Modells für die Arbeit mit polnischen Texten kann der Unterschied in der Aufteilung mehr kosten als der Unterschied in der Preisliste.

Wie viel die Arbeit mit diesen Modellen beim Schreiben und nicht beim Lesen real kostet, haben wir separat in dem Text darüber gemessen, wie viel ein von KI geschriebener Artikel kostet.

// weiterlesenHautausschlag? Wie KI bei der Selbstdiagnose helfen kann - und wo sie versagtMedizinKamerabewegung in Gemini Omni 1.2: FPV-Flug und 360-Grad-DrehungBenchmarksGemini 4 Argon vs. Gemini 3.1 Pro: Was ist neu?Benchmarks

Kinetyra