basal-omni: Remek Kinas’ Modell führt JevBench-Ranking an

👁 119 Aufrufe

Remek Kinas’ basal-omni-1.0-ultra steht im JevBench auf Platz eins unter den Modellen mit offenen Gewichten. Das Ranking bewertet Modelle, die keine Texte schreiben, sondern aus einer Liste eine Antwort auswählen und angeben, wie sicher sie sich sind. basal-omni erreicht einen Capability Score von 82,5 Punkten. Berücksichtigt man auch geschlossene API-Dienste, liegt nur Sqwishs kettei-fat mit 86,3 Punkten davor. basal übertrifft in dieser Tabelle die geschlossenen Entscheidungsmodelle von OpenAI und Microsoft sowie Jev von TypeSafe, das Modell, mit dem diese Modellkategorie ihren Anfang nahm. Ich habe die JevBench-Tabelle, die Modellkarten auf Hugging Face und die Verantwortlichen des Rankings geprüft. Die kleinste Version habe ich außerdem auf meinem Computer ausgeführt.

Was Remek Kinas bekannt gab

Am 17. Oktober schrieb Remek Kinas (@KinasRemek auf X), basal-omni sei „weltweit die Nummer eins unter den offenen Modellen“ und in JevBench insgesamt auf Platz zwei. Sein Beitrag endet mit den Worten: „Es geht also? Es geht! Polnische KI.“ Außerdem dankte er dem Ranking-Betreiber (@airesearch12) für die unabhängige Bewertung. Laut dem X-Zähler hatte der Beitrag am 19. Oktober rund 266.000 Aufrufe.

basal ist ein Projekt von Kinas. Es umfasst eine eigene Laufzeitumgebung (basal-serve) und zwei Modellfamilien: basal-2.0, entwickelt auf Grundlage des polnischen Bielik v3, und basal-omni, entwickelt auf Basis von Googles Gemma 4. basal-omni verarbeitet Text, Bilder und Audio (ultra unterstützt kein Audio). Wie andere Entscheidungsmodelle erzeugt es jedoch keine Sätze. Es erhält einen Zustand, zum Beispiel den Inhalt einer Anfrage, sowie Fragen mit vorgegebenen Antwortmöglichkeiten und gibt in einem Durchlauf die Wahrscheinlichkeit jeder Option aus. TypeSafe entwickelte diesen Arbeitsansatz mit dem Modell Jev. Ich habe im September über Jev von TypeSafe geschrieben; die gesamte Kategorie erkläre ich im Leitfaden KI-Entscheidungsmodelle.

Das Ergebnis im JevBench

JevBench legt jedem System dieselben 1500 Entscheidungsaufgaben vor und misst vier Werte: Trefferquote (Intelligence), Kalibrierung - also ob die angegebene Sicherheit mit der tatsächlichen Trefferquote übereinstimmt -, Geschwindigkeit und Kosten pro 1000 Entscheidungen. Die Haupttabelle für offene Modelle sortiert nach dem Capability Score, dem Mittelwert aus Trefferquote und Kalibrierung. Zugelassen sind nur Systeme der „Jev-Klasse“: Sie dürfen höchstens doppelt so viel kosten und höchstens doppelt so langsam sein wie Jev.

In der separaten API-Tabelle, die dieselbe Metrik verwendet, führt Sqwishs kettei-fat (86,3). Es folgen unter anderem d1-ultra von Liquid AI (80,5), Jev 1.13.0 (77,1), Jev 1.14.0 (75,0), OpenAI Decisions auf GPT-6 Luna (73,5) und Microsoft-Decision-1 (72,2, vorläufiges Ergebnis). Mit 82,5 Punkten liegt basal im Vergleich beider Tabellen auf Platz zwei.

Was „Nummer eins“ bedeutet - und was nicht

• Der erste Platz bezieht sich auf den Capability Score, also auf Trefferquote und Kalibrierung. Im offiziellen JevBench-Gesamtergebnis (Composite), in dem Geschwindigkeit und Kosten ebenfalls jeweils mit 25 Prozent gewichtet werden, liegt basal-omni-1.0-ultra unter 184 offenen Systemen auf Platz drei. Vor ihm liegen zwei deutlich kleinere 4B-Modelle: H2O-Lightning-4B v1.1 und Torchcast Decision 4B. Sie sind günstiger im Betrieb, aber bei der Trefferquote deutlich schwächer (60,0 und 60,3).
• Das Ranking ändert sich mit jeder Version. Als basal am 17.10. in die Tabelle aufgenommen wurde (Version v1.6.28), nannte der Versionshinweis Platz vier von 45 in der damaligen Aufgabenauswahl. Die aktuelle Reihenfolge zeigt die Tabelle v1.7.46 vom 18.10.
• JevBench misst die Geschwindigkeit von ultra auf einer eigenen Modellseite: Der Median liegt bei 0,102 s. Die Kosten betragen 0,045 USD pro 1000 Entscheidungen - etwa 0,04009 EUR - und liegen damit 38 Prozent über Jev, aber noch innerhalb der Jev-Klasse.
• In der Tabelle steht nur ultra. Für die kleineren basal-omni-Modelle mini und max gibt es keine separaten JevBench-Ergebnisse.

Umrechnung: Der EUR-Schätzwert basiert auf dem EZB-Referenzkurs vom 19.10.2026 (1 EUR = 1,1225 USD), Quelle: EZB-Referenzkurse. Der Betrag ist ein umgerechneter Schätzwert, kein lokaler Checkout-Preis.

Wer JevBench betreibt

JevBench läuft auf der Website Benchmark Heaven. Website und GitHub-Repository beschreiben das Projekt als Open-Source-Hobbyprojekt (MIT-Lizenz) von Florian Standhartinger, der auf X als @airesearch12 auftritt und dem Kinas dankte. Die Website gibt an, Modelle „unabhängig von TypeSafe AI“ zu vergleichen. Name und Metrik gehen auf Jev zurück: Kosten- und Zeitlimits werden relativ zu Jev berechnet, und Jev 1.13.0 erscheint als Referenz außerhalb des Rankings. Auf der Website fand ich keine Angaben zu Verbindungen des Betreibers zu TypeSafe oder Kinas. Einige Aufgaben sind öffentlich, die meisten jedoch versiegelt, damit die Modelle sie nicht auswendig lernen können. Änderungen an der Methodik erläutert der Betreiber in den Versionshinweisen.

JevBench ist eines von mehreren Rankings. Im Decision Index von Artificial Analysis führte am 19.10. d1-ultra von Liquid AI mit 65,2 Punkten vor Jev 1.13; basal-omni war dort nicht getestet worden.

Drei Modellgrößen und ein eigener Benchmark des Entwicklers

Wertung v1 basiert auf einem verborgenen Satz von Entscheidungsaufgaben auf Polnisch und Englisch aus 10 Kategorien, den der Entwickler selbst erstellt hat. Es handelt sich daher um ein Herstellerergebnis und keine unabhängige Messung. Laut den Modellkarten übernimmt ultra bei der Standardeinstellung für eine Fehlerquote von 1 Prozent automatisch 56,8 Prozent der Entscheidungen und übergibt den Rest an einen Menschen. Am schwächsten schneiden alle Versionen bei Regeln mit exakten Schwellenwerten und Datumsangaben ab. Der Entwickler empfiehlt, solche Aufgaben mit Code zu lösen.

Seit dem 19. Oktober gibt es mini und max auch als GGUF-Versionen für Ollama und llama.cpp, als FP8 für vLLM sowie als MLX für Mac. Die Versionen erschienen zusammen mit der Laufzeitumgebung basal 2.2 und dem neuen Werkzeug basal-calibrate, mit dem sich Modelle anhand eigener Daten kalibrieren lassen: basal 2.2 und basal-calibrate.

Wer ist Remek Kinas?

Remigiusz Kinas arbeitet als Principal AI Researcher bei Ingenix.ai, einem Unternehmen, das KI-Modelle für Biologie und klinische Forschung entwickelt. Er ist Mitentwickler der polnischen Bielik-Modelle und Kaggle Grandmaster. basal ist sein eigenes Projekt: Der Code der Laufzeitumgebung liegt auf seinem GitHub-Konto (rkinas/basal), die Modelle auf Remeks Hugging-Face-Konto. An Version 2.2 haben außerdem mehrere Community-Mitglieder mitgewirkt.

Ich habe die kleinste Version getestet

Am 19. Oktober ließ ich basal-omni-1.0-mini als GGUF Q8_0 (7,9 GB) über Ollama auf einer RTX 4090 laufen. Ich verwendete dafür meinen Testsatz mit 50 polnischen Kundenanfragen und 10 Tool-Auswahlentscheidungen, mit dem ich am 13.10. Modelle aus dem AA-Ranking geprüft hatte. Getestet wurde auf Polnisch; die folgenden Ergebnisse sind daher kein Deutschtest. Mini ordnete 42 von 47 Anfragen dem richtigen Bereich zu, erkannte die Dringlichkeit bei 47 von 50 und wählte das richtige Tool in 10 von 10 Fällen. Das ist eine Anfrage mehr als bei Jev 1.13 mit demselben Testsatz; der Median lag lokal bei 137 ms pro Entscheidung. Eine Schritt-für-Schritt-Anleitung und alle Ergebnisse: basal lokal ausführen: Ollama, llama.cpp und Mac.

Für wen eignet sich das Modell?

• Unternehmen, die viele Texte auf Polnisch klassifizieren - etwa Anfragen, E-Mails oder Dokumente - und keine Daten an eine externe API senden wollen. Die Apache-2.0-Lizenz erlaubt die kommerzielle Nutzung.
• Teams mit KI-Agenten, die schnell entscheiden müssen, ob ein Tool aufgerufen, nachgefragt oder eine Anfrage abgelehnt werden soll, und dafür eine numerische Sicherheitseinschätzung brauchen.
• Nicht zum Schreiben von Texten. basal beantwortet keine Kundenanfragen und verfasst keine Zusammenfassungen. Dafür braucht es weiterhin ein gewöhnliches Sprachmodell.

// weiterlesenKI-Influencerin ohne KI-Slop: 5 Figuren, 5 lokale ModelleBenchmarksMicrosoft-Decision-1: Ranking, Preis und TestBenchmarksDecision Index: Artificial Analysis testet Decision-ModelleBenchmarks

Kinetyra