Gemini 4 Carbon im Test: 50+ Aufgaben gegen Argon, Claude Fable 5.2 und GPT-6.1 Sol
Ich habe Gemini 4 Carbon und drei Konkurrenten mit mehr als 50 Aufgaben geprüft. Carbon überzeugt bei Quellen und Analysen, ist aber langsam und scheitert teils an einfachen Codefehlern.
👁 112 Aufrufe
Als Gemini 4 Carbon am 10. November 2026 für alle verfügbar wurde, habe ich es mit mehr als 50 Aufgaben getestet. Dieselben Aufgaben habe ich auch Claude Fable 5.2, GPT-6.1 Sol und Gemini 4 Argon gestellt. Alle Aufrufe liefen mit denselben Einstellungen über OpenRouter. Bewertet wurden die Antworten durch Unit-Tests, Musterlösungen oder automatische Prüfungen - nicht nach meinem Eindruck. Hier zeige ich, was Carbon kann, was es kostet und wo es scheitert.
Zuerst die Preise
| Gemini 4 Carbon | Gemini 4 Argon | Claude Fable 5.2 | GPT-6.1 Sol | |
|---|---|---|---|---|
| API-Preis pro 1M Tokens (Eingabe / Ausgabe) | 2 / 10 USD bis 30. Nov., danach 4 / 20 | 2 / 10 USD bis 30. Nov., danach 4 / 20 | 8 / 40 USD | 2 / 10 USD |
| Kontextfenster | 1,048,576 | 1,048,576 | 1,000,000 | 1,050,000 |
Ergebnisse bei denselben Aufgaben
| Aufgabe | Carbon | Argon | Fable 5.2 | GPT-6.1 Sol |
|---|---|---|---|---|
| 23 Praxisaufgaben (geringer Denkaufwand) | 99,5%*, 0,23 USD, 264 s | 99,5%*, 0,22 USD, 135 s | 100%, 1,37 USD, 190 s | 100%, 0,22 USD, 180 s |
| Agent: 6 Dokumente mit einer Falle, Tabelle, Python-Prüfung | 10/10, 54 s | 10/10, 38 s | 10/10, 31 s | 10/10, 20 s |
| Tabellenkalkulations-Engine von Grund auf, 34 Unit-Tests | 34/34, 0,47 USD, 518 s | 34/34, 0,05 USD, 64 s | 34/34, 0,82 USD, 201 s | 34/34, 0,05 USD, 77 s |
| Sicherheitsprüfung einer Flask-App, 8 eingebaute Schwachstellen | 8/8 | 8/8 | 8/8 | 8/8 |
| Webserver-Log nach einem Einbruch (SOC-Analyse) | 7/7 | 7/7 | 7/7 | 7/7 |
| Schwachstellen in einem Modul beheben, 14 Tests (mittlerer Denkaufwand) | 0/14 (Einrückungsfehler) | 14/14 | 14/14 | 3/14 (Problem nur unter Windows) |
| 6 Programmieraufgaben, 76 Unit-Tests (mittlerer Denkaufwand) | 63/76 | 76/76 | 76/76 | 76/76 |
| Erfundene Quellen: 16 wissenschaftliche Veröffentlichungen | 0 erfunden, 2 kleinere Fehler | 2 erfunden | 0 erfunden, 0 Fehler | 0 erfunden, 1 Fehler |
| Bildverständnis: 10 Fragen zu einem Diagramm, einer Tabelle und einem Kassenbon | 10/10 | 10/10 | 10/10 | 10/10 |
* Die automatische Bewertung zog für eine korrekte grammatische Form einen Punkt ab - ein Fehler der Bewertung, der beide Gemini-Modelle gleichermaßen betraf.
Was Carbon gut gemacht hat
Es hat keine Quellen erfunden. Ich habe zu zwei Themen jeweils 8 begutachtete Veröffentlichungen mit DOIs angefordert. Alle 16 von Carbon genannten Arbeiten existieren; ich habe sie in Crossref, OpenAlex und Bibliothekskatalogen überprüft. Eine DOI ließ sich nicht auflösen, und bei einem Bericht war das Jahr falsch. Argon hatte im Oktober beim selben Prompt 2 von 16 Quellen erfunden.
Es liest Dokumente gezielt. Bei der Agentenaufgabe hatte Carbon drei Werkzeuge (Dokumente auflisten, ein Dokument lesen, Python ausführen) und sechs Dokumente zur Verfügung. Eines davon war eine veraltete Preisliste von 2025. Schon anhand des Titels übersprang es die veraltete Datei, las die vier aktuellen Dokumente, schrieb eine Kostenfunktion, führte sie einmal aus und antwortete exakt im verlangten Format. 54 Sekunden, 0,03 USD.
Es denkt wie ein Analyst. In 92 Zeilen Zugriffsprotokoll fand es die IP-Adresse des Brute-Force-Angriffs, das kompromittierte Konto, die genaue Sekunde der erfolgreichen Anmeldung, einen CSV-Export 20 Sekunden später und einen erfolgreichen Path-Traversal-Angriff über das URL-kodierte ..%2f. Es verwechselte den blockierten Zugriffsversuch auf /etc/shadow nicht mit einem Datenabfluss und stufte einen normalen Nutzer, der sich einmal beim Passwort vertippt hatte, als Fehlalarm ein.
Es schreibt durchdachten Code. Die Tabellenkalkulations-Engine (Formeln, Zellbereiche, SUM/MIN/MAX/AVG/IF, fünf Fehlercodes, Zyklenerkennung und eine Kette aus 900 Zellen, ohne Pythons Rekursionslimit zu erreichen) umfasste 639 Zeilen. Sie nutzte einen eigenen Parser und eine generatorbasierte Auswertung statt Rekursion. Alle 34 Tests bestanden.
Wo Carbon scheitert
Es kann das gesamte Token-Limit fürs Nachdenken verbrauchen. Bei einer Aufgabe zu regulären Ausdrücken verbrauchte Carbon mit mittlerem Denkaufwand alle 16,000 Tokens fürs Nachdenken und lieferte keinen Code (0,16 USD). Mit einem Limit von 64,000 löste es die Aufgabe nach 248 Sekunden für 0,17 USD. Mit geringem Denkaufwand schaffte es dieselbe Aufgabe in 13 Sekunden für 0,007 USD - 25-mal günstiger, mit demselben Ergebnis von 13/13. Bei der Tabellenkalkulation verbrauchte es mit hohem Denkaufwand 47,997 Tokens fürs Nachdenken und lieferte nichts zurück.
Keine Selbstprüfung über die reine API. Beim Beheben der Schwachstellen in einem Modul mit mittlerem Denkaufwand waren die Korrekturen richtig (parametrisiertes SQL, PBKDF2 mit 600,000 Iterationen, ein zufälliger Salt, Vergleich mit konstanter Laufzeit). Doch eine Zeile enthielt ein Leerzeichen zu viel. Deshalb wies Python die Datei zurück, und alle 14 Tests scheiterten. Mit hohem Denkaufwand bestand Carbon 14/14 Tests, in 308 Sekunden für 0,31 USD.
Es ist langsam. Bei denselben Aufgaben war Argon bei ähnlicher Genauigkeit zwischen 1,4- und 8-mal schneller.
Google · Deine QuellenWissnox höher in Ihrem Google - mit einem KlickZu bevorzugten Quellen hinzufügen →Welches Modell ich wofür wählen würde
- Gemini 4 Carbon für Aufgaben, bei denen Fehler mehr kosten als Zeit: Sicherheitsprüfungen, Recherchen mit verpflichtenden Quellenangaben, die Suche nach einem hartnäckigen Bug oder die Koordination anderer Agenten. Mit geringem oder mittlerem Denkaufwand starten und das Ausgabelimit hoch ansetzen.
- Gemini 4 Argon für alltägliche Schreibaufgaben, Zusammenfassungen und Routinecode. Gleicher Preis pro Token, deutlich schneller.
- GPT-6.1 Sol, wenn die Kosten zählen: in der Praxis am günstigsten und schnell.
- Claude Fable 5.2, wenn Code ohne Nachprüfung funktionieren soll: kein Patzer bei irgendeiner Aufgabe, aber der vierfache Preis pro Token.
Preise, Zugang und Googles eigene Benchmarks stehen in meinem Leitfaden zu Gemini 4 Carbon.
More on this from WISSNOX
