Claude Fable 5.1 Test: Eine Aufgabe brachte das Modell zum Absturz

Aktualisierung (9. November 2026): Claude Fable 5.2 und Mythos 5.2 sind erschienen - Preise, Zugang und Benchmarks im Überblick zu Claude Fable 5.2.

👁 115 Aufrufe

Wir haben Claude Fable 5.1 am Release-Tag durch einen Satz von Sprachaufgaben geschickt. Das Ergebnis: Bei einer einfachen Aufgabe lieferte das neue Modell drei Minuten lang keine Antwort - ein Problem, das offenbar in der Fable-Familie systematisch auftritt.

Der Release eines neuen Modells folgt immer demselben Ritual: Der Hersteller zeigt Diagramme, in denen die Neuheit besser abschneidet als der Vorgänger, und unabhängige Messungen erscheinen einige Tage später. Dazwischen liegt eine Lücke, in der nichts sicher ist. Wir haben beschlossen, diese Lücke auf unsere Weise zu füllen und am Abend des Release-Tages Claude Fable 5.1 durch einen Satz von Aufgaben geschickt, mit denen wir seit Mitte August Modelle messen.

Die Methode ist langweilig und funktioniert gerade deshalb. Sechs Aufgaben, jede mit eindeutiger Lösung: Deklination von Eigennamen, Kollektivzahlen, Groß- und Kleinschreibung, Partizipialkonstruktionen, Kommasetzung sowie Umschreibung von Behördensprache in verständliches Deutsch. Dieselbe Temperatur 0,2, dasselbe Antwortlimit, dasselbe Zeitlimit. Neben Fable 5.1 haben wir seinen Vorgänger Fable 5 sowie Opus 5 gestellt - das Modell, das dieselbe Firma zur Hälfte des Preises verkauft.

Die Aufgabe, die das neue Modell nicht beendete

Das Interessanteste ereignete sich bei der zweiten Aufgabe, den Kollektivzahlen. Fable 5.1 antwortete nicht. Es irrte sich nicht, verweigerte nicht die Antwort, sondern lieferte einfach drei Minuten lang nichts, bis wir die Verbindung schlossen. Null Output-Token, null Kosten, keine Antwort.

Das ist kein Einzelfall eines Abends. Als wir denselben Satz im August durchliefen, verhielt sich Fable 5 genau gleich: Es stürzte bei der Aufgabe zur Deklination von Eigennamen ab und hing, bis das Limit von fünf Minuten ablief. Mit anderen Worten: Diese Modellfamilie hat ein wiederholbares Problem mit dem Einfrieren bei kurzen Sprachaufgaben, und die neue Version hat es nicht behoben. Im selben Durchlauf antworteten Fable 5 und Opus 5 auf die Kollektivzahlen ohne zu stocken, in knapp zehn Sekunden, und beide Antworten waren korrekt.

Es ist wichtig zu wissen, dass wir hier von einer Aufgabe sprechen, die man in der Grundschule macht: fünf Kinder, zwei Jungen, vier Frauen, drei Studenten bestanden die Prüfung, sieben Autos. Es gibt hier keine Falle außer der Sprache selbst. Wir haben in Polnisch getestet.

Wo es antwortete, schnitt es sehr gut ab

Der Rest der Messung sieht für die neue Version günstig aus. Fable 5.1 löste die verbleibenden fünf Aufgaben korrekt und war dabei am schnellsten von allen dreien: durchschnittlich 6,5 Sekunden pro Antwort, gegenüber 7,2 Sekunden bei Fable 5 und 8,2 Sekunden bei Opus 5.

Der deutlichste qualitative Unterschied zeigte sich bei der Aufgabe zur Groß- und Kleinschreibung. Beide Fable-Modelle korrigierten den Satz so, wie es die polnische Norm verlangt: Präsident von Warschau klein, Stadtamt als inoffizielle Bezeichnung klein, Herr Direktor klein, und Ministerium für Digitalisierung sowie Weihnachtsfeiertage groß. Opus 5 ließ Stadtamt und Herr Direktor groß geschrieben, beging also genau den Fehler, der in polnischen Behördenschreiben am häufigsten ist.

Eine Kleinigkeit, die uns amüsierte: Bei der Aufgabe mit Kommas war der Eingabetext ohne diakritische Zeichen, weil wir ihn von Anfang an so eingeben. Fable 5.1 stellte als einziges von sich aus die polnischen diakritischen Zeichen im gesamten Absatz wieder her, obwohl niemand darum gebeten hatte. Fable 5 und Opus 5 ließen den Text höflich so, wie sie ihn bekamen. Übereifer, aber in die richtige Richtung.

Was es kostete

Der gesamte Satz von sechs Aufgaben kostete uns 7 Cent bei Fable 5.1, fast 9,6 Cent bei Fable 5 und knapp 6 Cent bei Opus 5. Fable 5.1 war trotz identischer Token-Preise günstiger als sein Vorgänger, weil es einfach weniger redete: Bei der Korrektur von Partizipien schloss es mit 88 Token ab, wo Fable 5 257 brauchte und Opus 5 sogar 358.

Es gibt jedoch eine Ausnahme, die dieses Bild trübt. Bei der Aufgabe zur Groß- und Kleinschreibung verbrauchte Fable 5.1 675 Output-Token, um eine Antwort zu liefern, die zeichengenau identisch mit der war, die Fable 5 in 359 Token gab. Für genau dasselbe Ergebnis zahlten wir fast doppelt so viel. Bei einem Satz sind das Cent-Beträge, bei Tausenden von Anfragen täglich ist das bereits ein Budgetposten.

Was das für die Modellwahl bedeutet

Fable 5.1 kostet 10 Dollar pro Million Input-Token und 50 pro Million Output. Opus 5 aus demselben Stall kostet 5 und 25, also genau die Hälfte. In unserem polnischen Sprachtest gewann das teurere Modell eine Aufgabe, verlor eine durch fehlende Antwort und war anderthalb Sekunden schneller pro Anfrage.

Das ist kein Ergebnis, das den doppelten Preis beim Schreiben und Redigieren auf Polnisch rechtfertigt. Wenn Sie das täglich machen, wird das günstigere Opus 5 diese Arbeit genauso gut erledigen und bei längeren Texten die Hälfte der Rechnung in der Tasche lassen. Fable 5.1 rechtfertigt sich anderswo, bei Code und langen Forschungsaufgaben, die dieser Satz bewusst nicht berührt.

Eine Einschränkung, die wir uns selbst auferlegen: Dies ist eine Messung vom Release-Tag, bei sechs Aufgaben und einem Durchlauf pro Modell. Das ist kein Benchmark mit Hunderten von Wiederholungen und gibt auch nicht vor, einer zu sein. Es zeigt, wie sich die Modelle am ersten Abend auf unserem Schreibtisch verhielten, und es zeigt eine Sache, die keine offiziellen Materialien zeigen werden: dass die neue Version bei einer Aufgabe für Achtklässler abstürzen kann.

Wir werden denselben Satz in einigen Tagen wiederholen, wenn der Release-Ansturm abgeklungen ist, und prüfen, ob das Einfrieren bei Kollektivzahlen verschwindet. Wenn es bleibt, bedeutet das, dass das Problem im Modell sitzt und nicht in der Serverauslastung.

Häufig gestellte Fragen

Kommt Fable 5.1 mit Polnisch besser zurecht als das günstigere Opus 5?

Im Test mit sechs Aufgaben gewann Fable 5.1 eine Aufgabe und verlor eine durch fehlende Antwort, wobei es anderthalb Sekunden schneller pro Anfrage war. Wir stellen fest, dass das Ergebnis den doppelten Preis beim Schreiben und Redigieren auf Polnisch nicht rechtfertigt.

Warum war Fable 5.1 in der Nutzung günstiger als sein Vorgänger, obwohl die Token-Preise identisch sind?

Fable 5.1 generierte kürzere Antworten - zum Beispiel schloss es bei der Korrektur von Partizipien mit 88 Token ab, während Fable 5 257 brauchte und Opus 5 sogar 358. Eine Ausnahme war die Aufgabe zur Groß- und Kleinschreibung, wo Fable 5.1 675 Output-Token für eine Antwort verbrauchte, die identisch mit der war, die Fable 5 in 359 Token gab.

Worin bestand das Problem mit dem Einfrieren der Fable-Modelle?

Fable 5.1 lieferte keine Antwort auf die Aufgabe mit Kollektivzahlen - es irrte sich nicht und verweigerte nicht, sondern generierte drei Minuten lang einfach keine Output-Token. Ein identisches Problem trat früher bei Fable 5 auf, das bei der Aufgabe zur Deklination von Eigennamen abstürzte und fünf Minuten lang hing.

// weiterlesenNicht die Jäger, sondern die Bäuerinnen: Wie Frauen die Landwirtschaft nach Nordwesteuropa brachtenArchäologieAI-Modelle im Test 16.09.2026: 7 Modelle, 4 AufgabenBenchmarksClaude Fable 5.2 nutzen: App, Claude Code und APIMagazin

Kinetyra