GPT-6 Astra Test: Polnisch, Code, langer Kontext (Ergebnisse)

👁 116 Aufrufe

Am 4. September wurde GPT-6 Astra über OpenRouter verfügbar - die Plattform, über die wir seit Monaten Modelle testen. Noch am selben Abend haben wir das Modell durch drei Aufgabensets geschickt, jedes mit objektiv überprüfbaren Antworten, und es gegen drei Konkurrenten antreten lassen: Claude Fable 5.1 zum gleichen Preis, Claude Opus 5 zur halben Gebühr und Gemini 3.8 Flash, das zwei Tage zuvor erschien und einen Bruchteil der anderen kostet.

Die drei Sets: Sprache (sechs Aufgaben zu Deklination, Zahlwörtern, Großschreibung, Partizipien, Kommas und einfacher Sprache - dieselben, mit denen wir seit August Modelle testen, auf Polnisch), Code (drei PHP-Funktionen, die auf versteckten Tests ausgeführt wurden) und Nadel im Heuhaufen (fünf Fakten versteckt in 150.000 Zeichen polnischem Text). Alles bei Temperatur 0,2, ein Durchlauf, Kosten aus der API-Abrechnung. Vorab die Einschränkung: Ein Durchlauf ist kein Benchmark mit hunderten Wiederholungen, zeigt aber, wie sich die Modelle am ersten Tag bei uns verhalten haben.

Sprachtest auf Polnisch: Gemini für einen Bruchteil des Preises fehlerfrei

Die größte Überraschung betrifft nicht Astra. Gemini 3.8 Flash, ein Modell aus dem unteren Segment, korrigierte als einziges die Großschreibung vollständig normgerecht: Präsident von Warschau, Stadtamt als inoffizielle Bezeichnung und Herr Direktor klein, Ministerium für Digitalisierung und Weihnachten groß. Astra und Fable 5.1 ließen „Urzędzie Miasta„ groß, Opus 5 zusätzlich „Pana Dyrektora“. Das sind genau die Fehler, die in polnischen Behördenschreiben am häufigsten vorkommen, also kein Wunder, dass die Modelle sie reproduzieren.

Astra löste alle sechs Aufgaben und war am schnellsten von allen vieren, durchschnittlich 6,5 Sekunden pro Antwort. Zum Vergleich: Bei der Premiere von Fable 5.1 drei Tage zuvor hing gerade Anthropics Modell bei Zahlwörtern; diesmal hing Opus 5, bei der Aufgabe zur Behördensprache, und hing bis zum Verbindungsabbruch nach vier Minuten. Das Hängenbleiben bei kurzen Sprachaufgaben scheint eine Eigenschaft der Claude-Familie zu sein, kein Einzelfall.

Bei gleicher Temperatur sind Modelle nicht wiederholbar. Bei der ersten Messung schrieb Fable 5.1 „urzędzie miasta„ klein, diesmal groß. Die Bewertung aus einem Durchlauf ist also eine Bewertung dieses Durchlaufs, nicht des Modells allgemein.

Code: alle 19 von 19, also waren die Aufgaben zu leicht

Drei PHP-Funktionen: Slug aus polnischem Text (mit Transliteration der Sonderzeichen), korrekte Substantivform nach Zahlwort (Datei, Dateien, mit Fallen wie 12, 22, 101, 124) sowie Zusammenführen überlappender Intervalle. Jede Antwort haben wir auf versteckten Tests ausgeführt: insgesamt 19 Assertions.

Ergebnis: vier Modelle, bei jedem 19 von 19. Ehrlich gesagt ist das ein Versagen des Tests, kein Erfolg der Modelle. Aufgaben, die vor einem Jahr noch überraschen konnten (polnische Zahlwörter sind eine klassische Falle), löst heute auch das günstigste Modell im Vergleich fehlerfrei. Unterschiede blieben nur in der Abrechnung: Gemini 3.8 Flash 0,014 Dollar für drei Aufgaben, Opus 5 0,039, Astra 0,040, Fable 5.1 0,048. Der nächste Code-Test wird deutlich schwieriger sein müssen, um überhaupt etwas zu messen.

Nadel im Heuhaufen: alle trafen, aber Abrechnungen unterscheiden sich um das Zwanzigfache

In 150.000 Zeichen polnischen Text haben wir fünf erfundene Fakten eingebaut (Reservierungscode, Frequenz, Gangnummer, Passwort mit Sonderzeichen, Lieferzeit) an verschiedenen Stellen, vom dritten bis zum sechsundneunzigsten Prozent der Länge, und fünf Fragen gestellt.

Alle fanden alles, also qualitativ unentschieden. Interessant ist die Token-Spalte: Derselbe polnische Text sind 45.882 Tokens bei Astra und 43.350 bei Gemini, aber 73.063 bei beiden Claude-Modellen. Anthropics Tokenizer teilt Polnisch in fast 60 Prozent mehr Stücke. Bei identischem Preis pro Million Tokens bedeutet das, dass Fable 5.1 für dieselbe Arbeit auf Polnisch real mehr kostet als Astra, obwohl die Preisliste gleich aussieht. Diese „Token-Steuer“ berechnen wir seit langem im Kostenrechner, und hier sieht man sie an einer Aufgabe: 0,58 Dollar bei Astra, 0,73 bei Fable, 0,03 bei Gemini.

Was folgt daraus

Erstens: Astra ist bei diesen Aufgaben am schnellsten und hing kein einziges Mal, was nach den Erfahrungen mit der Claude-Familie für uns praktisches Gewicht hat. Zweitens: Bei polnischer Sprache ist es nicht besser als günstigere Modelle - es machte denselben Fehler wie Fable 5.1 und verlor gegen Gemini 3.8 Flash, das zwanzigmal weniger kostete. Drittens: Astras Stärken aus den offiziellen Benchmarks, also Mathematik, abstraktes Denken und Cybersicherheit, tauchen in der täglichen redaktionellen Arbeit auf Polnisch überhaupt nicht auf, also misst dieser Test sie nicht und tut nicht so, als würde er es tun.

Die Schlussfolgerung für jemanden, der auf Polnisch schreibt und redigiert, ist dieselbe, die sich bei unserem Test von Fable 5.1 ergab: Das teuerste Segment bietet bei dieser Arbeit keinen Vorteil, und unter den günstigen Modellen ist ein Kandidat aufgetaucht, der sie fehlerfrei erledigt. Für jemanden, der Mathematik, Agenten und lange Forschungsaufgaben braucht, sagt dieser Test nichts aus, und man muss auf unabhängige Messungen warten. Die vollständigen Daten des Modells haben wir im Leitfaden zu GPT-6 Astra zusammengestellt.

Methode und Rohantworten aller Modelle sind dokumentiert; wenn Sie sie sehen oder schwierigere Aufgaben für die nächste Runde vorschlagen möchten, schreiben Sie uns.

// weiterlesenYuE2 im Test: Wie gut singt die KI auf Polnisch?BenchmarksToken-Steuer 2026: Polnischer Text kostet bei Claude 56% mehrBenchmarksOpus 5.5 erstellt Spiel aus einem Satz - Kosten und ErgebnisseBenchmarks