Muse Wonder Benchmarks im Detail: Metas 14 Tests erklärt

👁 118 Aufrufe

Meta präsentierte Muse Wonder mit einer Vergleichstabelle aus 14 Tests, von denen in der Praxis kaum jemand mehr als zwei auf Anhieb einordnen kann. Im Folgenden wird jeder einzelne Benchmark verständlich aufgeschlüsselt: was genau geprüft wird, welche Ergebnisse Muse Wonder (laut Meta) erzielt und worauf Sie achten sollten, bevor Sie ein Modell voreilig zum Sieger erklären. Kurz zusammengefasst: Drei der 14 Tests stammen aus Metas internen Laboren, in mehreren Tabellenzeilen herrschten keine gleichen Testbedingungen für alle Modelle, und bei der Programmierung von Grund auf sowie der Desktop-Steuerung unterliegt Meta dem Modell Claude Opus 5.5. Ein vollständiger Überblick über das Modell findet sich im Leitfaden Muse Wonder.

Alle 14 Benchmarks in der Übersicht

Quelle: Tabelle und Modellkarte von Meta vom 12. Oktober 2026. Spalte „Ermittelt durch“ gemäss der Methodikbeschreibung in Metas Model Card.

Tests für persönliche Assistenz: PSI und MemoryBench

Der Personal Superintelligence Index bildet das mediale Aushängeschild der Ankündigung, ist zugleich jedoch der am wenigsten unabhängige Wert. Meta hat ihn aus sieben Einzeltests zusammengestellt: Agents‘ Last Exam, AutomationBench-AA, FocusBench, JobBench, GDP.pdf, VBT und DRACO. Zwei dieser Komponenten (FocusBench und VBT) sind rein intern. Die Zusammenstellung beruht vollständig auf Metas eigener Entscheidung; der Index belegt folglich lediglich, dass Wonder Full in genau jener Aufgabenauswahl führend ist, die Meta als relevant erachtet hat. Dies lässt sich mit einem Mehrkampf vergleichen: Der Sieg in der Gesamtwertung bedeutet nicht den Gewinn jeder Einzeldisziplin.

MemoryBench testet, ob ein Modell zentrale Fakten aus einem sehr langen Gesprächsverlauf (64.000 bis 100.000 Token) behält, selbst wenn zwischendurch widersprüchliche oder nachträglich korrigierte Angaben fielen. Dies ist für Agenten entscheidend, die Nutzerpräferenzen verlässlich speichern sollen; der Test ist jedoch ebenfalls intern aufgebaut und wird durch einen KI-Beurteiler ausgewertet. Interessantes Detail: Die Standardvariante Wonder schneidet hier um 0,1 Punkte besser ab als Wonder Full. Einen vergleichbaren Mechanismus habe ich selbst anhand von 80 Vorstandsprotokollen mit einer in einem späteren Dokument revidierten Entscheidung geprüft - alle fünf getesteten Modelle bewältigten dies fehlerfrei; die Messwerte finden sich im Bericht mein Test anhand von 23 Aufgaben.

Fachliche Praxis: Recht, Finanzen, Gesundheit und Büroalltag

• Harvey LAB-AA - Metas deutlichster Vorsprung in der gesamten Aufstellung: 13,1 gegenüber 4,2 Punkten bei Opus 5.5. Der absolute Wert fällt gering aus, da eine Aufgabe ausschliesslich dann als gelöst gewertet wird, wenn das erstellte Dokument sämtliche Kriterien erfüllt und keinerlei Halluzinationen aufweist. Mit Version 1.1 wurde eine dedizierte Prüfung auf Fehlinformationen eingeführt, weshalb die Werte nicht mit Version 1.0 vergleichbar sind.
• Vals Finance Agent V2 - Analyse komplexer Geschäftsberichte und Marktdaten. Wonder Full übertrifft Fable 5.1 um lediglich 0,2 Punkte, was faktisch einem Gleichstand entspricht.
• HealthBench Pro - Bearbeitung von 525 medizinischen Fachfragen ohne externe Werkzeuge. Hier liegt Meta zurück: 62,3 gegenüber 65,6 Punkten bei Opus. Die Vergleichswerte für Claude übernahm Meta direkt aus den System Cards von Anthropic, statt sie selbst nachzurechnen.
• GDP.pdf - Analyse und Bearbeitung vorgelegter PDF-Dateien, ermittelt durch den Dienstleister Surge. Führend ist hier GPT-6 Astra (34,2).
• JobBench - 65 praxisnahe Aufgabenstellungen aus 35 typischen Bürotätigkeiten. Full und Opus liegen hier mit 75,3 zu 75,4 Punkten gleichauf.
• AutomationBench-AA - Ausführung von Betriebsabläufen in nachgebildeten Softwareumgebungen; nur erfolgreich, wenn der finale Systemzustand exakt der Vorgabe entspricht. Full erreicht 45,4 Punkte, der stärkste Konkurrent 41,6 Punkte.

Desktop-Steuerung im Test: OSWorld V2.1

OSWorld umfasst 108 interaktive Aufgaben auf einer realen Ubuntu-Desktop-Oberfläche: Das Modell analysiert Screenshots, steuert den Mauszeiger, tippt und scrollt durch Anwendungen. Meta nennt zwei Kennzahlen, die differenziert betrachtet werden müssen. In der Teilbewertung (für jeden korrekt ausgeführten Einzelschritt) erzielt Wonder Full 78,4 Punkte, in der binären Erfolgsmessung (Aufgabe vollständig und fehlerfrei beendet oder nicht) hingegen lediglich 39,4 Punkte. In der Praxis schliesst das Modell demnach nur rund jede dritte anspruchsvolle Desktop-Aufgabe komplett ab. In dieser Kategorie platziert sich Meta hinter Opus 5.5 (81,8 Punkte partiell) und Fable 5.1 (80,7 Punkte partiell, 43,1 Punkte vollständig).

Coding-Benchmarks: Vier Tests, vier verschiedene Fragestellungen

Meta behauptet sich bei langwierigen Aufgaben innerhalb bestehender Codebasen, unterliegt jedoch sowohl beim Erstellen neuer Programme von Grund auf als auch in reinen Terminal-Abläufen. Zwei relevante Hinweise aus Metas Model Card: Beim SWE-Marathon stammen die Resultate von GPT-6 Astra und Fable 5.1 aus deren spezifischen Agentenumgebungen (Codex und Claude Code), während Wonder Full im Reasoning-Modus „xhigh“ getestet wurde - Meta merkt selbst an, dass hier keine identischen Testbedingungen vorlagen. Bei ProgramBench gilt ein Durchlauf erst dann als erfolgreich, wenn mindestens 95 % aller verdeckten Testfälle bestanden werden.

Die einzige unabhängige Zeile: Der Artificial Analysis Index

Die Organisation Artificial Analysis führt zehn eigenständige Tests durch (unter anderem GDPval-AA, Terminal-Bench 4.0, Humanity’s Last Exam und SciCode) und fasst diese im Index 4.3 zusammen. Beim Abruf der Rangliste am 12. Oktober ergab sich folgendes Bild: Opus 5.5 führt mit 58 Punkten, Wonder Full erreicht 56 Punkte (deckungsgleich mit Claude Sonnet 5.5, den Meta im eigenen Diagramm ausliess) und die Basisversion Wonder liegt bei 52 Punkten - gleichauf mit GPT-6.1 Sol. Diesem Gesamtwert ist die höchste Neutralität beizumessen. Der Index spiegelt keine prozentual gelösten Aufgaben wider, sondern stellt normalisierte Punkte auf der herstellereigenen Skala dar.

Kriterien für den objektiven Modellvergleich

• Die prüfende Instanz: Angaben des Herstellers sind Behauptungen, Tests neutraler Dritter bieten verlässliche Belege.
• Die Denkstufe: Meta weist alle Werte im Maximalmodus („max“) aus; über Anwendungen und die Standard-API ist standardmässig eine niedrigere Stufe hinterlegt.
• Die Modellvariante: Die Spitzenwerte beziehen sich auf Full, während Entwicklern über die API derzeit nur das reguläre Wonder zur Verfügung steht.
• Die Messmethodik: Teilerfolg, Gesamterfolg und aggregierte Indizes stellen methodisch grundverschiedene Metriken dar.
• Eigene Anforderungen: In meinem Praxistest mit 23 Aufgabenstellungen erreichten alle fünf getesteten Modelle Erfolgsquoten zwischen 99 % und 100 % - messbare Unterschiede zeigten sich vor allem bei Token-Kosten und Antwortzeiten.

Häufig gestellte Fragen

Misst der Personal Superintelligence Index echte Superintelligenz?

Nein. Es handelt sich um ein internes Metrikbündel aus sieben von Meta ausgewählten Einzeltests für Assistenz- und Büroaufgaben. Die Namensgebung ist reines Marketing.

In wie vielen Benchmarks liegt Muse Wonder vorne?

Muse Wonder Full führt in 7 der 14 Zeilen von Metas Übersicht. Die reguläre, per API verfügbare Modellversion Wonder übertrifft Opus 5.5 lediglich in 5 Zeilen.

Welche Benchmarks gelten als unabhängig ermittelt?

Harvey LAB-AA, AutomationBench-AA, Terminal-Bench 4.0-AA und der AA-Index werden von Artificial Analysis ausgewertet, Vals Finance von Vals AI, GDP.pdf von Surge, DeepSWE von Datacurve und SWE-Marathon von Abundant AI. Rein herstellerintern sind der PSI, MemoryBench sowie die Teilmodule FocusBench und VBT.

In welchen Bereichen verliert Muse Wonder gegen die Konkurrenz?

Gemäss Metas Tabelle schneidet Wonder schwächer ab in ProgramBench (59,0 gegen 70,5 bei Opus), HealthBench Pro, Terminal-Bench 4.0, OSWorld und GDP.pdf.

// weiterlesenUnabhängige KI-Tests: Wissnox LaborBenchmarksMuse Wonder im Test: 23 Aufgaben gegen Opus 5.5 und GPT-6BenchmarksSWE-Flux Benchmark: LLMs verstehen Code-Ausführung nichtBenchmarks

Kinetyra