GPT-6 Astra für Entwickler: Code-Tests im Detail

👁 118 Aufrufe

Für Entwickler läuft die Premiere eines neuen Modells auf eine einzige Frage hinaus: Macht es das, was mein aktuelles Modell heute leistet, besser - und zu welchem Preis? Die Antwort aus den Tests, die bei der Premiere von GPT-6 Astra veröffentlicht wurden, ist weniger eindeutig, als die Kommunikation suggeriert, und es lohnt sich, sie aufzuschlüsseln.

Drei Tests, drei unterschiedliche Bilder

In Terminal-Bench 4.0, das die Arbeit in der Kommandozeile bei realen Aufgaben misst, erreicht Astra 57,7 Punkte. Claude Fable 5.1 kommt auf 55,8, Claude Opus 5 auf 52,3, das ältere Fable 5 auf 42,0 und GPT-5.6 Sol auf 37,3. Der Vorsprung gegenüber dem direkten Konkurrenten beträgt knapp zwei Punkte, aber der Sprung gegenüber dem eigenen Vorgänger ist enorm: von 37,3 auf 57,7.

In DeepSWE v1.1, einem Test zum Beheben von Fehlern in echten Repositories, erreichte Astra 74,1 Prozent gegenüber 72,7 Prozent bei Sol. Es gibt eine Verbesserung, aber sie ist gering. Auf diesem Schwierigkeitsniveau bedeutet ein Unterschied von anderthalb Punkten einige wenige Aufgaben pro hundert.

Und schließlich FrontierCode 1.1 in der erweiterten Variante: Astra 64,5 Prozent, Claude Fable 5 64,9 Prozent. Das Modell von vor fast drei Monaten schneidet zum gleichen Preis eine Spur besser ab.

Was diese Zahlen nicht aussagen

Die Tests messen geschlossene Aufgaben: Es gibt einen Fehler zu beheben, einen Befehl auszuführen, ein Ergebnis zu überprüfen. Die tägliche Arbeit mit Code ist größtenteils etwas anderes: fremden Code lesen, Architekturentscheidungen treffen, darüber sprechen, was man überhaupt nicht tun sollte. Das misst keiner dieser Tests, und die Unterschiede zwischen den Modellen fallen dort oft anders aus als in der Tabelle.

Zweiter Punkt: die Preise. Astra kostet 10 und 50 Dollar pro Million Token, Sol 2 und 10. Ein Vorsprung von anderthalb Punkten beim Beheben von Fehlern bei fünffachem Preisunterschied ist nur dann ein Argument, wenn die paar Prozent Aufgaben, die Sol nicht schafft, mehr kosten als der Aufpreis für alle übrigen.

Wo Astra für Entwickler wirklich einen Unterschied macht

An zwei Stellen. Erstens: langer Kontext. Im Test zum Auffinden von Informationen in Texten mit einer Länge von einer halben Million bis zu einer Million Token erreicht Astra 96,3 Prozent gegenüber 73,8 beim Vorgänger. Das ist der Unterschied zwischen dem Einwerfen eines ganzen Repositories in den Kontext mit dem Vertrauen, dass das Modell nichts übersieht, und dem Aufteilen in Stücke. Zweitens: Agentenarbeit. Im Test zur Automatisierung beruflicher Aufgaben erreicht Astra 41,4 Punkte gegenüber 31,4 bei Fable 5.1 und 18,1 bei Sol, und in OSWorld, dem Test zur Computersteuerung, 72,6 Prozent gegenüber 65,7.

Wenn Ihre Arbeit aus langen Agenten-Sessions auf großem Code besteht, ist Astra das erste Modell, das das deutlich besser macht als der Rest. Wenn es um einzelne Fragen und schnelle Korrekturen geht, leistet ein günstigeres Modell dasselbe, und die Rechnung fällt fünfmal niedriger aus.

Die vollständige Testtabelle mit Vergleich zur Konkurrenz finden Sie im Text über die Benchmarks von Astra, und alle Modelldaten im Leitfaden.

// weiterlesenMorbus Menière: Größte genetische Studie verortet Ursprung in der frühen Entwicklung des OhrsMedizinClaude Haiku 5.5: Bis zu 90 Prozent günstiger und erste TestsNachrichtenGPT-6 Astra Pro: Gleicher Preis wie Astra - wo liegt der Unterschied?Nachrichten