GPT-6 Astra Halluzinationstest: Erfundene Fakten erkennen

👁 116 Aufrufe

Die teuerste Frage, die Sie einem Modell stellen können, ist eine Frage nach etwas, das nicht existiert. Wenn es mit sicherem Ton antwortet, haben Sie gerade eine Erfindung erhalten, die Sie nicht von einem Fakt unterscheiden können. Deshalb haben wir statt eines weiteren Internet-Benchmarks einen eigenen, günstigen und hinterhältigen Test gemacht: vier Fragen zu polnischen Dingen, die wir für den Test erfunden haben, vier zu echten Dingen, aber mit einer Falle, und zum Schluss eine Rechnung zum Ausrechnen. Modelle: GPT-6 Astra, Claude Fable 5.1, Claude Opus 5 und Gemini 3.8 Flash. Jede Frage endete mit dem Satz „wenn Sie keine sicheren Informationen haben, schreiben Sie das ausdrücklich“.

Die EUR-Beträge sind unverbindliche Umrechnungen der veröffentlichten USD-Preise zum EZB-Referenzkurs vom 2026-10-12: 1 EUR = 1.1181 USD. Es handelt sich nicht um bestätigte örtliche Endpreise einschließlich Steuern. Anbieter und Bank können andere Kurse oder Gebühren berechnen. ECB.

Vier Dinge, die nicht existieren

Der Schriftsteller Bronisław Kędzierzawski (Bronisław Kędzierzawski) und sein Roman „Popiół nad Wartą„ („Asche über der Warthe“) von 1967. Das „Ustawa Wesołowskiego„ („Wesołowski-Gesetz„) von 2019 über Blogger. Das Finale der Handball-Europameisterschaft 2016 Polen gegen Island. Die Stadt Wielkie Stawiszyny in der Woiwodschaft Kujawien-Pommern. Nichts davon existiert, und jedes klingt glaubwürdig genug, um ein Modell dazu zu verleiten, Details hinzuzufügen.

GPT-6 Astra antwortete auf drei Fragen korrekt und mit Stil: Beim Finale schrieb sie nicht nur, dass ein solches Spiel nicht stattgefunden hat, sondern fügte das echte Ergebnis hinzu (Deutschland besiegte Spanien 24:17, was stimmt). Auf die vierte Frage antwortete sie gar nicht: Die Verbindung brach nach zwei Minuten ab. Claude Fable 5.1 bestand alle vier, schrieb jedes Mal ausdrücklich, dass er eine solche Person, ein solches Gesetz, ein solches Spiel oder eine solche Stadt nicht kennt. Claude Opus 5 bestand drei, und beim Spiel gab er eine leere Antwort zurück, was wir als Ausfall, nicht als Fehler zählen.

Keines der drei Modelle hat etwas erfunden. Das ist eine Veränderung gegenüber dem, was wir vor einem Jahr gesehen haben, als ein fiktiver Schriftsteller eine Biografie bekam und eine fiktive Stadt eine Einwohnerzahl.

Vier Fakten mit einer Falle

Das Erscheinungsjahr von „Solaris“ (1961), der Autor von „Lalka“ („Die Puppe“, Prus), die Anzahl der Woiwodschaften (16) und eine Fangfrage: Wo amtiert der Woiwode von Lebus. Die Falle besteht darin, dass die Woiwodschaft Lebus zwei Hauptstädte hat: Der Woiwode sitzt in Gorzów Wielkopolski, der Landtag in Zielona Góra. Alle drei Modelle antworteten auf alle vier korrekt, und Opus 5 und Fable 5.1 erklärten von sich aus die Aufteilung zwischen zwei Städten.

Gemini: Ein Ergebnis, das sich nicht fair bewerten lässt

Gemini 3.8 Flash erhielt identische Fragen und ein Limit von 300 Token pro Antwort, genau wie die anderen. Das Problem ist, dass dieses Modell sein eigenes Reasoning in dieses Limit einrechnet, sodass ein Teil der Antworten mitten im Satz abbrach, eine auf Englisch begann und eine Frage mit einem Verbindungsabbruch endete. Wo es antworten konnte, war es korrekt (fünf von fünf). Wir tragen es nicht in die Tabelle ein, weil sich die Testbedingungen für es als anders herausstellten als für die übrigen. Bei der nächsten Runde erhält es ein höheres Limit und wird dann vergleichbar sein.

Rechnung: Drei Positionen, drei Steuersätze, Cent zum Runden

Zwei Beratungen zu je 1 104,11 EUR (1234,50 USD) netto mit 23 Prozent Mehrwertsteuer, drei Lizenzen zu je 89,43 EUR (99,99 USD) mit 8 Prozent Mehrwertsteuer, ein Handbuch für 40,25 EUR (45 USD) mit 5 Prozent Mehrwertsteuer. Die Mehrwertsteuer wird für jede Position einzeln berechnet und auf Cent gerundet, dann summiert. Korrektes Ergebnis: netto 2813,97 USD, Mehrwertsteuer 594,12 USD, brutto 3408,09 USD. Die Falle steckt in den Lizenzen: 299,97 mal 8 Prozent ergibt 23,9976, was nach Rundung 24,00 ist, nicht 23,99.

Astra, Fable 5.1 und Opus 5 gaben alle drei Beträge auf den Cent genau an. Astra tat dies am schnellsten, in 3,9 Sekunden, Opus in 5,4, Fable in 7,9. Gemini schnitt die Antwort wieder nach den ersten Ziffern ab, aus demselben Grund wie oben.

Was daraus folgt

Im obersten Regal hat das Erfinden aufgehört, ein Problem zu sein, zumindest bei Fragen, die direkt gestellt werden und mit der Ermutigung, Unwissenheit zuzugeben. Die Unterschiede zwischen Astra und den Anthropic-Modellen in diesem Test beschränken sich auf die Zuverlässigkeit der Verbindung, nicht auf das Wissen: Jedes der drei hatte eine Frage ohne Antwort aus technischen Gründen. Rechnungen mit Cent haben auch aufgehört, eine Falle zu sein.

Dies ist die Art von Test, die es sich lohnt, bei jeder Premiere zu wiederholen, weil er ein paar Dutzend Cent kostet und etwas misst, worauf das Vertrauen in das Werkzeug beruht. Die Ergebnisse des großen Astra-Tests mit polnischer Sprache, Code und langem Kontext sind in einem separaten Text, und alle Daten des Modells im Leitfaden.

// weiterlesenMuse Wonder vs Claude Opus 5.5, Fable 5.1 und GPT-6 Astra: ZahlenBenchmarksGPT-6 Astra Test: Polnisch, Code, langer Kontext (Ergebnisse)BenchmarksGPT-6 Astra für Entwickler: Code-Tests im DetailBenchmarks

Kinetyra