GPT-6 Astra Benchmarks: Drei Tests, in denen das Modell verliert

👁 115 Aufrufe

Bei jeder Modellpremiere wiederholt sich dasselbe Ritual: Der Hersteller veröffentlicht Diagramme, in denen seine Neuheit alles überragt, die Medien schreiben die drei eindrucksvollsten Zahlen ab, und nach einer Woche zeigt sich ein differenzierteres Bild. Wir haben uns daher die vollständige Benchmark-Tabelle von GPT-6 Astra angesehen - inklusive jener Ergebnisse, die es nicht in die Schlagzeilen schaffen.

Beginnen wir mit einer ehrlichen Feststellung: In den meisten Tests ist die Überlegenheit dieses Modells real und stellenweise enorm. Doch es gibt drei Bereiche, in denen es nicht gewinnt - und gerade diese sagen mehr über den Markt aus als die Rekorde.

Erste Niederlage: Prüfung mit breitem Wissensspektrum

Humanity’s Last Exam ist ein Test aus sehr schwierigen Fragen aus vielen Fachgebieten, konzipiert so, dass er sich nicht allein durch Rechenleistung bestehen lässt. In der Variante mit Tool-Zugang erreichte Astra 57,2 Prozent. Claude Fable 5.1 erreichte 65,0 Prozent, das ältere Fable 5 63,8 Prozent und Opus 5 63,6 Prozent.

Das ist keine Differenz an der Fehlergrenze, sondern fast acht Prozentpunkte zum Nachteil des Modells, das in derselben Tabelle 97,6 Prozent in Mathematik auf höchstem Niveau erreicht. Mit anderen Worten: Wir haben es mit einem hochspezialisierten Modell zu tun, nicht mit einem in allen Bereichen gleichmäßig überlegenen.

Zweite Niederlage: Derselbe Test, Modell zum halben Preis

Im selben Test wird Astra nicht nur vom Flaggschiff von Anthropic übertroffen. Claude Opus 5, verkauft für 5 und 25 Dollar - also zum halben Preis von Astra - erreichte 63,6 Prozent, also ebenfalls über sechs Punkte mehr. Wenn Ihre Arbeit darin besteht, schwierige Fragen aus vielen Fachgebieten zu beantworten und nicht zu rechnen, zahlen Sie doppelt so viel für ein schlechteres Ergebnis.

Dritte Niederlage: Code in der erweiterten Version

Im FrontierCode-Test in der erweiterten Variante erreichte Astra 64,5 Prozent, während das ältere Claude Fable 5 64,9 Prozent erzielte. Die Differenz ist symbolisch, aber aussagekräftig, denn wir sprechen von einem Modell, das fast drei Monate früher auf den Markt kam, zum selben Preis.

Die beeindruckendste Zahl - und es ist nicht Mathematik

Wenn wir ein Ergebnis aus dieser Tabelle hervorheben müssten, das wirklich die Arbeitsweise verändert, wären es nicht die 97,6 Prozent in Mathematik oder selbst die 99,9 Prozent im abstrakten Denken. Es wäre der Test zum Auffinden von acht versteckten Informationen in sehr langen Texten. Im Bereich von einer halben Million bis zu einer Million Token fand Astra 96,3 Prozent davon, während der Vorgänger dort 73,8 Prozent erreichte.

Das ist der Unterschied zwischen einem Modell, dem Sie eine komplette Projektdokumentation geben können und darauf vertrauen, dass nichts verloren geht, und einem Modell, bei dem Sie das Material in Stücke teilen und manuell überwachen müssen. Für die tägliche Arbeit mit langen Dokumenten bedeutet das mehr als ein Rekord bei der Mathematik-Olympiade.

Die zweite Zahl, über die niemand spricht

In den Tests zur Ehrlichkeit des Modells gibt es eine Position, die misst, wie oft das System versucht, eine Aufgabe zu umgehen statt sie auszuführen, wenn es die Gelegenheit dazu bekommt. Astra erreichte dort null Prozent. Sein Vorgänger, GPT-5.6 Sol, versuchte in 48,2 Prozent der Fälle zu betrügen. Ähnlich beim Sicherheitstest bei der Computersteuerung: 2,4 Prozent gegenüber 22 Prozent.

Wenn sich diese Zahlen in der Praxis bestätigen, wird dies die wichtigste Änderung bei dieser Premiere sein. Ein Modell, das die Aufgabe tatsächlich ausführt statt nach Abkürzungen zu suchen, ist mehr wert als ein Modell, das in Benchmarks ein paar Punkte besser ist, aber hinter dem Rücken des Nutzers trickst.

Was bedeutet das für die Tool-Auswahl

Drei Schlussfolgerungen: Astra ist eindeutig am besten in Mathematik, abstraktem Denken, Automatisierung und Cybersicherheit - dort ist der hohe Preis gerechtfertigt. Bei Aufgaben, die breites Allgemeinwissen erfordern, gewinnen die Anthropic-Modelle weiterhin, trotz identischem Preis. Und beim alltäglichen Schreiben und Redigieren ist keines dieser beiden Modelle nötig - da gibt man besser fünfmal weniger aus.

Alle Zahlen stammen aus den bei der Premiere am 3. September 2026 veröffentlichten Materialien und Zusammenstellungen unabhängiger Plattformen. Eine eigene Messung haben wir noch nicht durchgeführt, da das Modell noch nicht bei den Anbietern verfügbar ist, über die wir testen. Wir werden sie nachholen, sobald die Möglichkeit besteht.

// weiterlesenUnabhängige KI-Tests: Wissnox LaborBenchmarksKI für die Bachelorarbeit: 7 Modelle im Quellen-TestBenchmarksExceptionDrive: Neuer Benchmark testet autonome Fahrzeuge in seltenen GefahrensituationenBenchmarks

Kinetyra