Decision Index v1.0 bewertet Decision Models
Artificial Analysis hat den Decision Index v1.0 veroeffentlicht. Jev 1.13 fuehrt das Feld an, gefolgt von GLiDE und Microsoft-Decision-1.
👁 114 Aufrufe
Am 13. Oktober 2026 hat die Analyseplattform Artificial Analysis (AA) den Decision Index v1.0 vorgestellt. Dabei handelt es sich um den ersten unabhaengigen Benchmark fuer sogenannte Decision Models. Diese Modelle generieren keinen Fliesstext, sondern beantworten strukturierte Anfragen mit festen Optionen, Ja-Nein-Entscheidungen oder Bewertungen in einem einzigen Aufruf und liefern fuer jede Option eine Wahrscheinlichkeit zurueck. Im Index wurden elf Decision Models getestet und mit regulaeren Large Language Models verglichen.
Aufbau des Decision Index v1.0
Der Gesamtscore setzt sich aus vier gleich gewichteten Teilbereichen zusammen, die jeweils 25 Prozent ausmachen. AA-Omniscience-Decision prueft 500 Fragen zu privatem Wissen mit jeweils fuenf Auswahlmoeglichkeiten, wobei Genauigkeit und die Faehigkeit, Nichtwissen einzugestehen, gewertet werden. HLE-MultiChoice umfasst 513 reine Textfragen aus Humanity’s Last Exam. Bei When2Call von NVIDIA geht es darum, direkt zu antworten, ein Tool aufzurufen, nach weiteren Informationen zu fragen oder die Antwort zu verweigern. WildGuardTest des Allen Institute for AI misst die F1-Genauigkeit bei der Erkennung schaedlicher Anfragen oder Antworten. Fuer Decision Models wird die Option mit der hoechsten Wahrscheinlichkeit gewertet, waehrend LLMs ueber strukturierte JSON-Ausgaben abgefragt werden.
Ergebnisse und Vergleich mit LLMs
Gemaess den Daten von Artificial Analysis vom 13. Oktober 2026 liegt Jev 1.13 von TypeSafe mit einem Indexwert von 57,5 an der Spitze. Dahinter folgen GLiDE von Fastino Labs mit 53,9 Punkten und Microsoft-Decision-1 mit 53,8 Punkten knapp vor Decider v1.1 27B von Perplexity mit 53,1 Punkten. Die mediane Latenz von Jev 1.13 betraegt 127 ms bei Kosten von 41,5 USD pro einer Million Aufgaben. GLiDE benoetigt 217 ms bei 119,0 USD, waehrend Microsoft-Decision-1 auf 207 ms und 30,7 USD kommt. Celeris-1 Decision erzielt mit 63 ms die geringste mediane Latenz bei einem Indexwert von 52,3.
| Modell | Index | Kosten / 1M Aufgaben | Mediane Latenz |
|---|---|---|---|
| Jev 1.13 | 57,5 | 41,5 USD | 127 ms |
| GLiDE | 53,9 | 119,0 USD | 217 ms |
| Microsoft-Decision-1 | 53,8 | 30,7 USD | 207 ms |
| Decider v1.1 27B | 53,1 | 16,5 USD | 170 ms |
| Mercury Decide | 52,7 | 30,4 USD | 500 ms |
| Claude Haiku 5.5 (low) | 60,6 | 184,0 USD | 1434 ms |
Regulaere LLMs erzielen laut Artificial Analysis weiterhin hoehere Indexwerte, verursachen aber deutlich hoehere Latenzen und Kosten. Claude Haiku 5.5 (low) erreicht einen Wert von 60,6 Punkten, ist mit 1434 ms jedoch rund elfmal langsamer und mit 184 USD pro Million Aufgaben etwa 4,4-mal teurer als Jev 1.13. Claude Opus 5.5 erreicht 79,0 Punkte bei 3571 ms und Kosten von 51.295 USD. GPT-6 Luna (low) kommt auf einen Index von 55,2 bei einer Latenz von 1500 ms und Kosten von 131 USD.
In den Einzeldisziplinen fuehrt Jev 1.13 beim logischen Schliessen auf HLE-MultiChoice mit 20,9 Punkten, waehrend alle anderen Decision Models 15,4 oder weniger erreichen. Die Schwachstelle der Decision Models bleibt reines Faktenwissen: Ihre Genauigkeit liegt zwischen 28 und 41 Prozent, waehrend Claude Haiku 5.5 hier 52 Prozent und GPT-6 Luna 66 Prozent erzielen.
Mehr: KI-Entscheidungsmodelle - Decision Index, Preise und Tests
More on this from WISSNOX
