GPT-6 Astra Test: 11 KI-Modelle im Vergleich - Code & Instruktionen

👁 115 Aufrufe

Wir haben einen Test für elf Modelle entwickelt: neun Aufgaben aus den Bereichen Code, Übersetzung und Instruktionsbefolgung, jede automatisch geprüft, um subjektive Bewertungen zu vermeiden. Bei der Durchsicht der Antworten stellte sich heraus, dass bei einer Aufgabe unser Automat falsch bewertete. Die Modelle, denen er null Punkte gab, antworteten korrekt, während die mit einem Punkt falsch lagen.

Das ist interessanter als das Ranking selbst, deshalb beginnen wir damit.

Die Aufgabe, bei der der Test falsch lag

Wir gaben den Modellen folgenden PHP-Code und baten um die Identifizierung des Fehlers in einem Satz:

foreach ($lista as $i => $el) {
    if ($el == null) unset($lista[$i]);
}
echo count($lista);

Die Antworten teilten sich in zwei Lager.

Lager eins: Der Fehler besteht darin, Elemente aus dem Array während der Iteration zu entfernen, da dies die Schleife beschädigt und Elemente überspringt.

Lager zwei: Der Fehler ist der lockere Vergleich ==, der neben null auch Null, leere Strings, false und leere Arrays erfasst und somit mehr entfernt als beabsichtigt.

Unser Automat suchte in der Antwort nach Wörtern über Modifikation während der Iteration und belohnte daher Lager eins. Wir führten diesen Code auf einem Server mit PHP 8.4.25 aus, und das Ergebnis ist eindeutig.

1) nur nulls: 4 von 7 übrig, Werte: a,b,c,d
   Iteration übersprang Elemente? NEIN, entfernte genau 3 nulls
2) mit Nullen und leeren: 5 von 10 übrig, Werte: 'a','b','c','d','0'

Das Löschen in der Schleife hat nichts beschädigt. In PHP arbeitet die Schleife über Werte mit einer Kopie des Arrays, sodass das Löschen währenddessen sicher ist. Der lockere Vergleich hingegen entfernte Null, leere Strings, false und leere Arrays - genau das, was Lager zwei beschrieb.

Lager eins wiederholte eine Regel, die in anderen Sprachen gilt. Lager zwei kannte PHP.

Wer den echten Fehler erkannte

Korrekt antworteten fünf von elf Modellen: GPT-6 Astra, Claude Fable 5.1, Gemini 3.8 Flash, GLM 5.3 Flash und Kimi K3. Die restlichen sechs gaben die Regel über Iteration an oder, im Fall von Ministral, etwas anderes und ebenfalls Falsches.

Dies ist eine Aufteilung, die zufällig mit dem Preis übereinstimmt: Es erkannten ihn die Modelle der oberen Preisklasse. Das ist nicht immer so, und gleich zeigen wir eine Aufgabe, bei der es umgekehrt war.

Ergebnisse nach Korrektur

Nachfolgend die Punktzahl nach Korrektur dieser Aufgabe. Wir geben auch die Kosten für den gesamten Test und die Zeit an, denn bei der Wahl eines Modells für die Arbeit bedeutet das eine ohne das andere nichts.

Das teuerste Modell gewann nicht

Claude Fable 5.1 kostete 0,11503 Dollar, also mehr als doppelt so viel wie der Gewinner, und landete einen Punkt niedriger. Gemini 3.8 Flash erreichte die gleiche Punktzahl wie Fable bei zwei Dritteln niedrigeren Kosten.

Am anderen Ende der Skala erzielte Ministral 14B fünf Punkte für 0,00019 Dollar, also genauso viele wie Claude Haiku 4.5, das siebzehnmal mehr kostete. Es schaffte dies in 6,2 Sekunden, am schnellsten von allen elf.

Code-Aufgaben fielen überraschend gleichmäßig aus

In der Gruppe der Programmieraufgaben sind die Unterschiede nach der Korrektur geringer als erwartet. Die Funktion zur Überprüfung einer Steuernummer mit Prüfsumme schrieben alle. Die Abfrage mit Summierung, Gruppierung und Begrenzung auf zehn Ergebnisse gelang ebenfalls allen.

Der ganze Unterschied entstand bei der Aufgabe mit dem Fehler, also dort, wo man nicht so sehr Code schreiben, sondern ihn verstehen musste. Das ist wahrscheinlich die praktischste Beobachtung aus dem gesamten Test: Code schreiben ist heute selbst bei günstigen Modellen gelöst, fremden Code lesen nicht.

Instruktionsbefolgung ist die schwächste Stelle aller Modelle

Am schlechtesten schnitt die Gruppe der Aufgaben ab, bei denen es auf die Einhaltung harter Einschränkungen ankam. Nur GPT-6 Astra bestand alle drei.

Die Aufgabe lautete: Schreiben Sie zwei Sätze über Kaffee auf Polnisch, aber verwenden Sie kein einziges Mal den Buchstaben „a“. Drei von elf Modellen schafften es.

Am interessantesten sind die Arten des Scheiterns. Zwei Modelle schrieben korrekte Sätze, stellten ihnen aber eine Einleitung wie „Hier sind zwei Sätze ohne den Buchstaben a“ voran, legten sich also durch ihre eigene Ankündigung herein. Eines erfand nicht existierende Wörter: „Kow jest gorący, czarny napój„. Ein anderes fügte am Ende eine Bemerkung hinzu, dass das Wort „kawa“ selbst den verbotenen Buchstaben enthält, als wolle es sich rechtfertigen.

Korrekte Antworten sahen so aus: „Espresso pobudzi umysł. Jego woń koi zmysły“ sowie „Ciemny, gorzki płyn w kubku budzi o świcie uśpione zmysły„.

Praktische Schlussfolgerung: Wenn Sie etwas bauen, das sich an ein striktes Format halten soll, prüfen Sie dies separat. Ein Modell, das schön schreibt, kann gleichzeitig nicht in der Lage sein, Sätze zu zählen.

Wörtliche Übersetzungen aus dem Englischen

Wir baten um ein polnisches Äquivalent für die Redewendung „it’s not rocket science“. Acht Modelle gaben etwas Natürliches an, meist „to żadna filozofia„ (das ist keine Philosophie). Drei gingen in wörtliche Übersetzung: „to nie jest żadna rakietowa nauka„ (das ist keine Raketenwissenschaft), „to nie jest fizyka jądrowa„ (das ist keine Kernphysik), „to nie jest rakieta, to jest prostsze niż myślisz„ (das ist keine Rakete, es ist einfacher als du denkst).

Das ist ein Unterschied, den man in Tests, die auf Englisch durchgeführt werden, nicht sieht, der aber darüber entscheidet, ob ein Text wie von einem Muttersprachler geschrieben klingtn klingt.

Nebenbei zeigte unser Automat hier eine zweite Schwäche. Er bewertete die Antworten „to nie jest wyższa matematyka„ (das ist keine höhere Mathematik) und „to nie jest zajęcie dla głupich„ (das ist keine Beschäftigung für Dumme) als falsch, weil sie nicht auf unserer Liste zulässiger Formulierungen standen. Beide Wendungen sind im Polnischen völlig natürlich. Wir änderten die Punktzahl nicht, um sie nicht an unsere eigenen Eindrücke anzupassen, merken aber an: Bei dieser Aufgabe erhielten zwei Modelle null Punkte für eine Antwort, die ein Mensch als gut bewerten würde.

GLM 5.3 Flash - gewann einen Test, verlor den anderen

Wir müssen hier etwas hinzufügen, das unsere frühere Schlussfolgerung verkompliziert. In einem Test zur polnischen Grammatik erzielte GLM 5.3 Flash die volle Punktzahl bei den niedrigsten Kosten, und wir nannten es die Standardwahl für polnische Texte.

In diesem Test benötigte dasselbe Modell 353 Sekunden für neun Aufgaben, also vier- bis siebenmal länger als der Rest des Feldes, und gab dreimal eine leere Antwort zurück. Es landete in der Mitte der Tabelle.

Beide Ergebnisse sind wahr, und es gibt keinen Widerspruch: GLM ist sehr gut im Polnischen und sehr langsam bei Aufgaben, die längeres Reasoning erfordern. Den Grund haben wir separat beschrieben: In diesem Modell lässt sich das Reasoning nicht ausschalten, sodass es bei schwierigen Anweisungen das Token-Budget verbraucht und manchmal keinen Platz für die Antwort lässt.

Das ist genau die Art von Schlussfolgerung, die man aus einem einzigen Test nicht ziehen kann, und der Grund, warum wir die Methode beschreiben, nicht nur das Ergebnis.

Wie wir gemessen haben und was dieser Test nicht aussagt

Neun Aufgaben, elf Modelle, ein Versuch pro Aufgabe, Limit von 1.600 Token pro Antwort im ersten Teil und 3.000 in diesem. Kosten aus dem Abrechnungsfeld der API abgelesen, nicht aus der Preisliste, denn der Preis auf der Modellkarte kann um das Vierzehnfache von der Rechnung abweichen. Der gesamte Test kostete 0,34 Dollar.

Was er nicht aussagt: Wir haben das Schreiben langer Texte, faktisches Wissen oder die Arbeit mit großem Kontext nicht geprüft. Neun Aufgaben sind zu wenig für ein absolutes Ranking, und das behaupten wir nicht.

Und das Wichtigste, denn das ist die Moral dieser ganzen Geschichte: Ein automatischer Test ist nur so gut wie das Kriterium, das Sie darin festgelegt haben. Unserer war bei einer von neun Aufgaben fehlerhaft, und das kam erst beim Lesen der Antworten heraus. Wenn Sie Modelle automatisch bewerten und die Ergebnisse nicht lesen, könnten Sie ein Ranking veröffentlichen, das die Übereinstimmung mit Ihrem eigenen Fehler misst.

Derselbe Test aus Kostenperspektive

Oben zählen wir Punkte. Wenn Sie interessiert, was die reine Arbeit kostet, haben wir das separat an einer längeren Aufgabe gemessen: wie viel ein von KI geschriebener Artikel kostet. Es kam auf vier Hundertstel Cent bis neunzehn Cent für denselben Text heraus.

// weiterlesenKI-Modelle 2026: Reasoning lässt sich nicht mehr abschaltenBenchmarksKI-Modelle: Skala 0-20 funktioniert besser als 0-100BenchmarksGPT-6 Luna: günstigstes OpenAI-Modell im Test für 0,0024 USDBenchmarks