KI rechnet nicht selbst - sie schreibt Python-Code für medizinische Kalkulatoren
Sprachmodelle machen Rechenfehler - ein Problem, wenn ein einziger falscher Wert eine klinische Empfehlung kippt. Forscher testen einen Umweg: Das Modell rechnet gar nicht, sondern schreibt fallspezifischen Python-Code, den ein lokaler Executor ausführt.
👁 112 Aufrufe
- Beim größeren Qwen2.5-32B-AWQ-Modell erreicht der Program-Solve-Ansatz 90,53 Prozent Genauigkeit, gegenüber 83,47 Prozent beim direkten Rechnen durch das Modell.
- Beim kleineren Qwen2.5-7B-Modell ist der Vorteil des Solver-Ansatzes statistisch nicht gesichert - das Konfidenzintervall reicht von -3,49 bis 10,38 und schließt null ein.
- 16 von 55 Kalkulatoren im Benchmark MedCalc-Bench Verified wurden von den Autoren wegen Bedenken zu Version, Anwendung oder Koeffizienten als fraglich markiert.
Das Paper stammt von Felipe Ocampo Osorio und sieben weiteren Autoren, darunter Leo Anthony Celi, und wurde am 9. September 2026 auf arXiv eingereicht. Es behandelt ein konkretes, praktisches Problem: Große Sprachmodelle sind beim Rechnen unzuverlässig. Im klinischen Kontext ist das kein akademisches Detail - ein einziger Zahlenfehler kann eine falsche Behandlungsempfehlung erzeugen.
Das klassische Problem und der bisherige Ausweg
Die übliche Lösung, die die Autoren beschreiben, ist schlicht: Jeder klinische Kalkulator wird als einzelne, handgeschriebene und validierte Funktion fest einprogrammiert. Das funktioniert, skaliert aber schlecht. Für jeden neuen Kalkulator braucht man erneuten Aufwand. Die Autoren nennen das eine „one at a time“-Strategie.
Der alternative Ansatz: Das Modell schreibt Code, rechnet aber nicht
Der hier getestete Ansatz heißt „Program-Solve Interface“. Die Logik dahinter: Das Sprachmodell rechnet selbst gar nichts. Stattdessen schreibt es fallspezifischen Python-Code, der anschließend von einem eingeschränkten lokalen Executor als deterministischer Löser ausgeführt wird. Die Aufgabe des Modells reduziert sich damit darauf, zu entscheiden, wie dieser Solver zu benutzen ist - nicht, die Arithmetik selbst durchzuführen.
Benchmark und Audit
Getestet wird auf MedCalc-Bench Verified, einem Benchmark mit 1.100 Fällen und 55 Kalkulatoren. Die Autoren verglichen drei Varianten: direktes Rechnen durch das Modell, den Program-Solve-Ansatz und eine handgeschriebene Bibliothek mit 22 Kalkulatoren. Eingesetzt wurden zwei Modelle: Qwen2.5-7B und Qwen2.5-32B-AWQ.
Vor den Tests haben die Autoren die Benchmark-Formeln gegen aktuelle klinische Leitlinien geprüft und dabei 16 von 55 Kalkulatoren mit Bedenken hinsichtlich Version, Anwendung oder Koeffizienten markiert. Das ist ein relevanter Befund am Rande: Rund 29 Prozent der Benchmark-Formeln waren nach Einschätzung der Autoren zumindest fraglich.
Ergebnisse: Größe des Modells entscheidet
Die Resultate sind differenziert. Bei dem kleineren 7B-Modell bringt der Solver-Ansatz keinen zuverlässigen Vorteil: 75,31 Prozent gegenüber 72,02 Prozent beim direkten Rechnen, ein Unterschied von +3,29 Punkten - aber das 95-Prozent-Konfidenzintervall reicht von -3,49 bis 10,38 und schließt null ein. Kein gesicherter Effekt.
Bei dem größeren 32B-Modell sieht es anders aus: 90,53 Prozent mit Solver gegen 83,47 Prozent ohne, ein Unterschied von +7,05 Punkten mit einem Intervall von 0,47 bis 14,60 - klar oberhalb von null. Hier hilft der Ansatz nachweislich.
Die handgeschriebene 22-Kalkulator-Bibliothek ist auf den 440 unterstützten Fällen exakt - macht aber bei allen anderen keine Angabe. Insgesamt kommt sie damit nur auf 40,0 Prozent.
Schlussfolgerungen der Autoren
Die Autoren halten fest, dass ein Executor bestimmten Open-Weight-Modellen mehr hilft als anderen - selbst wenn Formel, Variablen und Notizzugang identisch sind. Außerdem betonen sie ausdrücklich: Der Solver-Ansatz ersetzt weder verifizierte Formeln noch eine zuverlässige Variablenextraktion. Beides bleibt notwendige Voraussetzung, unabhängig davon, welche Methode man wählt.
Google · Deine QuellenWissnox höher in Ihrem Google - mit einem KlickZu bevorzugten Quellen hinzufügen →Was bedeutet das
Meiner Einschätzung nach zeigt dieses Paper vor allem, dass die Stärke eines Tricks vom Modell abhängt - und dass man das nicht verallgemeinern darf. Der Befund, dass 16 von 55 Benchmark-Formeln bereits audit-Bedenken ausgelöst haben, finde ich dabei mindestens so interessant wie die Hauptergebnisse: Wer auf einem fehlerhaften Benchmark evaluiert, misst unter Umständen wenig Sinnvolles. Das Paper bleibt in seinen Aussagen vorsichtig und benennt die Grenzen des Ansatzes klar - das ist in diesem Bereich keine Selbstverständlichkeit.
Quelle: arXiv cs.AI: Towards a Deterministic Math Solver for Clinical Language Models (dokument z 2026-09-12). Diese Besprechung entstand auf Grundlage des vollständigen Dokumenttextes, nicht auf Basis von Medienberichten.
Häufig gestellte Fragen
Wie funktioniert der Program-Solve-Ansatz für medizinische Kalkulatoren?
Das Sprachmodell rechnet dabei selbst gar nichts, sondern schreibt fallspezifischen Python-Code, der von einem eingeschränkten lokalen Executor ausgeführt wird. Die Aufgabe des Modells beschränkt sich darauf, zu entscheiden, wie dieser Solver zu benutzen ist.
Hilft der Solver-Ansatz bei kleinen Sprachmodellen genauso wie bei großen?
Nein, bei dem kleineren Qwen2.5-7B-Modell ist kein gesicherter Vorteil nachweisbar, da das Konfidenzintervall null einschließt. Erst beim 32B-Modell liegt der Unterschied von +7,05 Prozentpunkten klar oberhalb von null.
Wie schneidet eine handgeschriebene Kalkulator-Bibliothek im Vergleich ab?
Die handgeschriebene Bibliothek mit 22 Kalkulatoren ist auf den 440 unterstützten Fällen exakt, macht aber bei allen anderen Fällen keine Angabe und kommt damit insgesamt nur auf 40,0 Prozent. Der Program-Solve-Ansatz mit dem 32B-Modell erreicht dagegen 90,53 Prozent über alle 1.100 Fälle.
Ersetzt der Solver-Ansatz die Notwendigkeit verifizierter medizinischer Formeln?
Nein, die Autoren betonen ausdrücklich, dass der Solver-Ansatz weder verifizierte Formeln noch eine zuverlässige Variablenextraktion ersetzt. Beides bleibt notwendige Voraussetzung, unabhängig von der gewählten Methode.
More on this from WISSNOX
nachrichten·KI-Überblick:12 September 2026Zusammenfassung der wichtigsten Ereignisse in der KI-Welt der letzten 24 Stunden - 5 News an einem Ort.