basal-omni lokal ausführen: Ollama, llama.cpp und Mac

👁 118 Aufrufe

basal-omni ist das polnische Entscheidungsmodell von Remek Kinas: Es schreibt keine Texte, sondern wählt eine Antwort aus einer Liste und gibt an, wie sicher es sich ist. Seit dem 19. Oktober lassen sich kleinere Versionen auch ohne Server-Grafikkarte ausführen - mit Ollama, llama.cpp oder auf dem Mac. Ich habe das mit der Mini-Version im GGUF-Format auf meiner RTX 4090 ausprobiert und denselben Satz polnischsprachiger Anfragen verwendet, mit dem ich zuvor Jev und andere Entscheidungsmodelle getestet hatte. Hier finden Sie die Anleitung, die bei mir funktioniert hat, die Hardware-Anforderungen und die Ergebnisse.

Welche Version passt zu welcher Hardware?

Alle Dateien liegen auf Remeks Hugging-Face-Konto und stehen unter der Apache-2.0-Lizenz. Die GGUF- und MLX-Versionen unterstützen nur Text, keine Bilder oder Audio.

Der Autor hat nur die Quantisierungen Q8_0 und Q6_K veröffentlicht, weil nur sie seine Kompatibilitätsprüfung mit dem Original bestanden. Bei 10 606 Entscheidungen mit 2 bis 10 Auswahlmöglichkeiten trifft Q8_0 in 98,7 % der Fälle dieselbe Wahl wie die bf16-Version, Q6_K in 97,1 %. Q5_K_M und Q4_K_M fielen durch. Für die größte Version ultra mit 31 Milliarden Parametern gibt es keine GGUF-Datei des Autors.

Schritt für Schritt: Windows, NVIDIA-Grafikkarte und Ollama

So habe ich es am 19. Oktober unter Windows 11 mit Ollama 0.40.5 (mindestens Version 0.35 erforderlich) und Python 3.12 über uv eingerichtet.

1. Umgebung und basal-Engine 2.2. Im Ollama-Modus berechnet Ollama das Modell auf der Grafikkarte. Deshalb genügte mir eine CPU-Version von PyTorch:

   uv venv --python 3.12 env
   uv pip install --python env/Scripts/python.exe torch --index-url https://download.pytorch.org/whl/cpu
   uv pip install --python env/Scripts/python.exe "basal @ https://github.com/rkinas/basal/archive/refs/tags/v2.2.0.tar.gz"

2. Modell herunterladen (ca. 8 GB). Sie benötigen die Q8_0-Datei und einige kleinere Dateien daneben: Modelfile, Tokenizer, Kalibrierung und basal.json. Ich habe sie einzeln heruntergeladen; einfacher geht es mit dem Tool hf, das zusammen mit der Engine installiert wird:

   hf download Remek/basal-omni-1.0-mini-GGUF --local-dir basal-omni-1.0-mini-GGUF --exclude "*Q6_K*"

3. Mit der mitgelieferten Modelfile aus dem Repository in Ollama registrieren:

   cd basal-omni-1.0-mini-GGUF
   ollama create basal-omni-1.0-mini:q8_0 -f Modelfile.Q8_0
   cd ..

4. Den basal-Server vor Ollama starten:

   basal-serve --model ./basal-omni-1.0-mini-GGUF --mode ollama --ollama-model basal-omni-1.0-mini:q8_0 --port 8000

5. Die erste Anfrage (Python, nur Standardbibliothek). Das Format entspricht dem Jev-API-Format; der Endpunkt lautet /v1/systemone. Die folgenden deutschsprachigen Texte sind eine Übersetzung des getesteten polnischen Beispielprompts, kein separat auf Deutsch getesteter Prompt:

   import json, urllib.request
   body = {"state": "Seit 9:00 Uhr funktioniert das Dashboard nicht, Fehler 500, das ganze Vertriebsteam steht still.",
     "questions": {
       "dzial": {"type": "choice", "instructions": "An welche Abteilung soll die Anfrage weitergeleitet werden?",
         "criteria": {"platnosci": "Zahlungen und Rechnungen", "awaria": "etwas funktioniert technisch nicht",
                      "sprzedaz": "Fragen vor dem Kauf"}},
       "pilne": {"type": "noul", "instructions": "Muss noch heute reagiert werden?",
         "criteria": {"true": "ja", "false": "nein"}}}}
   req = urllib.request.Request("http://127.0.0.1:8000/v1/systemone",
     json.dumps(body, ensure_ascii=False).encode("utf-8"),
     {"Content-Type": "application/json; charset=utf-8"})
   print(json.load(urllib.request.urlopen(req))["answers"])

Sie erhalten die ausgewählte Option, die Wahrscheinlichkeit jeder Option und die Sicherheit (confidence). Bei einer Ja/Nein-Frage wird außerdem die Wahrscheinlichkeit für „Ja“ ausgegeben. Zwei Stolperfallen, auf die ich gestoßen bin oder die der Autor beschreibt:

• Polnische Sonderzeichen in der Windows-Konsole. Eine mit curl aus Git Bash gesendete Anfrage führte zu einem UTF-8-Decodierungsfehler. Mit Python und expliziter Kodierung funktioniert es problemlos.
• Ein einfaches ollama run reicht nicht. Dann gibt das Modell nur freien Text aus. Typisierte Antworten mit Wahrscheinlichkeiten berechnet basal-serve, indem es die Wahrscheinlichkeiten der Optionscodes für ein einzelnes Token ausliest.
• Grenzen des Ollama-Modus: höchstens 20 Optionen pro Frage und 4096 Token pro Anfrage. Für längere Dokumente und bis zu 255 Optionen empfiehlt der Autor den llama.cpp-Modus.

llama.cpp und Mac: weitere Möglichkeiten

• llama.cpp im Prozess: Installation mit dem Extra basal[gguf] (llama-cpp-python 0.3.36 oder neuer), danach basal-serve --model ./basal-omni-1.0-mini-GGUF --mode gguf --gguf basal-omni-1.0-mini-GGUF/basal-omni-1.0-mini-Q8_0.gguf --port 8000. Für eine NVIDIA-Grafikkarte muss llama-cpp-python mit CUDA-Unterstützung gebaut werden. Diese Variante habe ich nicht getestet.
• Mac mit Apple Silicon: Verwenden Sie den Modus --mode mlx mit dem Extra basal[mlx] und dem -MLX-Repository oder führen Sie GGUF über Metal aus. Laut Autor läuft mini Q8_0 auf einem Mac mit 16 GB Speicher. Auf einem M4 Pro erreicht die MLX-Mini-Version 0,73 Entscheidungen pro Sekunde bei 8 parallelen Anfragen und 173 ms für eine einzelne Anfrage. Auch das habe ich nicht überprüft, da ich keinen Mac besitze.

Mein Test mit 50 polnischen Anfragen und 10 Werkzeugentscheidungen

Ich verwendete den Testsatz vom 13. Oktober, mit dem ich Modelle aus dem Artificial-Analysis-Ranking geprüft hatte: 50 Anfragen an einen Onlineshop (7 Abteilungen und Dringlichkeit) sowie 10 Gespräche, in denen ein Assistent entscheiden soll, ob er selbst antwortet, ein Werkzeug aufruft, nachfragt oder ablehnt. Fragen und Lösungsschlüssel sind unverändert; ich habe nichts für basal angepasst. Wie beim vorherigen Test werte ich die Abteilung anhand von 47 Anfragen aus, weil sich drei Einträge im Lösungsschlüssel als diskutabel erwiesen (mehr dazu im Leitfaden KI-Entscheidungsmodelle). Auch basal lag bei diesen drei daneben, ebenso wie alle 11 Modelle am 13.10.

• Das kleinste basal-Modell liegt im Mittelfeld der großen API-Entscheidungsmodelle. Es bewältigte eine Anfrage mehr als Jev 1.13 und zwei weniger als Microsoft-Decision-1 und Decider. Dabei hat es 4 Milliarden Parameter und läuft auf einer Grafikkarte für den Heimgebrauch.
• Bei der Dringlichkeit schneidet es sehr gut ab: 47 von 50; besser waren nur Decider und GPT-6 Luna Decisions mit jeweils 48. basal stufte weder eine dreifache Überlastung der Grafikkarte (Wahrscheinlichkeit 0,05) noch eine funkenbildende Kaffeemaschine (0,34) als dringend ein, markierte aber eine Krypto-Spamnachricht unnötig als dringend.
• Fehler bei der Abteilungszuordnung: Hochzeitstorte mit Status „in Vorbereitung“ (Verkauf statt Lieferung), funkenbildende Kaffeemaschine (Störung statt Reklamation), Angebot für Mailinglisten (Verkauf statt Spam), Rückerstattung für eine stornierte Bestellung und ein nicht funktionierender Rabattcode.
• Die Sicherheit sollten Sie mit eigenen Daten prüfen. Bei einer Sicherheit von mindestens 0,9 lag basal bei 35 von 40 Anfragen richtig, Jev bei 37 von 39. Zu den Fehlern mit hoher Sicherheit gehörten das Angebot für Mailinglisten (0,95) und der nicht funktionierende Rabattcode (0,97). Deshalb ist das neue Tool basal-calibrate wichtig: Es passt die Schwellenwerte an Ihre Beispiele an.
• Geschwindigkeit: Median von 137 ms pro Entscheidung; die erste Anfrage dauerte 12 Sekunden, weil das Modell in den Grafikspeicher geladen wurde. Die API-Modelle habe ich am 13.10. aus Polen einschließlich Netzwerk gemessen (Jev: 361 ms). Das ist kein direkter Vergleich. Lokal zahlen Sie jedoch nicht pro Token, und die Daten verlassen Ihren Computer nicht.

Der Test beanspruchte die Grafikkarte 20 Sekunden lang. Ich führte eine Serie mit einer Reihenfolge der Optionen durch; die Kalibrierung war in die GGUF-Datei eingebunden. Nach dem Test gab ich den Speicher für das Modell wieder frei.

Wann lohnt sich basal lokal?

• Die Daten dürfen das Unternehmen nicht verlassen - zum Beispiel Kundenanfragen, Dokumente oder E-Mails.
• Es gibt viele Entscheidungen, bei denen jeweils eine Auswahl getroffen wird: Abteilung, Dringlichkeit, Thema, Text freigeben oder nicht, oder das aufzurufende Werkzeug.
• Sie haben einige hundert beschriftete Beispiele, um Schwellenwerte zu kalibrieren und nur sichere Entscheidungen automatisch durchzuleiten.

Woher das Modell kommt und wie es im Ranking abgeschnitten hat, beschreibe ich im Beitrag basal-omni auf Platz 1 unter den offenen Modellen in JevBench. Weitere Modelle, die sich lokal ausführen lassen, finden Sie im Hub Lokale KI.

// weiterlesenQwen3.6-27B lokal auf der RTX 4090: Was passtAnleitungenGemma 4 31B lokal auf RTX 4090: VRAM, Tempo und TestBenchmarksWan 2.2 lokal: KI-Video auf eigener Grafikkarte - Test RTX 4090Benchmarks

Kinetyra