FiberTune: Wie Roboter-KI beim Feintuning weniger vergisst

👁 113 Aufrufe

Das Papier „FiberTune: Preserving Action-Fiber Visual Residuals in Vision-Language-Action Fine-Tuning“ wurde von Haihao Lin und neun weiteren Autoren verfasst und am 7. Juni 2026 auf arXiv eingereicht. Es wurde auf der CoRL 2026 angenommen. Der Quellcode und eine Projektseite sind laut Abstract verlinkt, die konkreten URLs sind im vorliegenden Text jedoch nicht lesbar wiedergegeben.

Das Problem: Visueller Kollaps entlang von Aktionsfasern

Im Mittelpunkt steht ein spezifisches Problem beim Feintuning sogenannter Vision-Language-Action-Modelle (VLA). Das sind KI-Systeme, die Kamerabilder und Sprache verarbeiten und daraus Roboter-Aktionen ableiten. Beim aktionssupervidierten Feintuning - also dem Anpassen eines Basismodells anhand von Demonstrations-Daten - werden laut den Autoren nur jene Merkmalsrichtungen im Modell eingeschränkt, die die vorhergesagten Aktionen direkt beeinflussen. Alles andere, also visuelle Struktur, die für verschiedene aktionsäquivalente Zustände gleich bleibt, kann dabei ungehindert „kollabieren“. Die Autoren nennen dieses Phänomen „residual visual collapse along local action fibers“ - den Kollaps visueller Residuen entlang lokaler Aktionsfasern.

Konkret bedeutet das: Das Modell verliert beim Feintuning visuelle Information, die für die unmittelbare Aktionsvorhersage nicht gebraucht wird, die aber trotzdem für robustes Verhalten relevant sein kann.

Der Ansatz: FiberTune

Als Lösung schlagen die Autoren FiberTune vor, ein Trainingsziel, das während des Trainings aktiv ist, aber zur Inferenzzeit - also wenn das fertige Modell tatsächlich Roboter steuert - keinen zusätzlichen Rechenaufwand erzeugt.

FiberTune arbeitet in drei Schritten: Erstens wird eine sogenannte Online-Aktionssonde eingesetzt, um aktionsvorhersagende Merkmalsrichtungen in den intermediären visuellen Token-Repräsentationen zu schätzen. Zweitens werden diese Richtungen aus den Repräsentationen herausgefiltert. Drittens werden die verbleibenden, so gefilterten Residuen an einen eingefrorenen visuellen Lehrer-Encoder angeglichen, während gleichzeitig ihr „effective rank“ - ein Maß für die Dimensionalität der Information - regularisiert wird.

Der Gedanke dahinter: Was nach dem Herausfiltern der aktionsrelevanten Richtungen übrig bleibt, sollte erhalten werden, weil es visuelle Struktur trägt, die der Lehrer-Encoder gelernt hat.

Experimente und Ergebnisse

Die Autoren testen FiberTune unter identischen Trainingsbedingungen gegenüber einem reinen Aufgabenverlust-Feintuning in sechs kontrollierten Simulationsumgebungen. Diese verteilen sich auf zwei Benchmarks und zwei Architekturen: pi_0.5 und OpenVLA-OFT. Hinzu kommt ein physischer Roboterversuch mit einem SO-101-Roboter bei einer Pick-and-Place-Aufgabe.

In allen sechs Simulationsumgebungen schneidet FiberTune besser ab. Als repräsentative Ergebnisse nennen die Autoren: +10,7 Prozentpunkte bei SR(5) auf dem Langzeit-Benchmark CALVIN ABC-to-D sowie eine Steigerung der Aufgabenerfolgsrate beim physischen SO-101 von 72,7% auf 78,1%.

Zusätzliche Diagnosen zeigen laut den Autoren, dass diese Verbesserungen mit einer erhöhten Übereinstimmung der gefilterten Residuen zum Lehrer-Encoder und einem höheren Effective Rank einhergehen - was sie als konsistent mit ihrer Motivation bezeichnen.

Was bedeutet das

FiberTune adressiert ein konzeptuell nachvollziehbares, aber bisher wenig explizit behandeltes Problem: Feintuning optimiert auf das, wofür es trainiert wird, und vernachlässigt den Rest. Dass dieser „Rest“ an visueller Information tatsächlich für die Roboterleistung relevant ist, legen die Ergebnisse nahe - auch wenn die Verbesserungen im physischen Versuch mit gut fünf Prozentpunkten eher moderat ausfallen. Interessant ist der Ansatz, keinen Inferenzkostenzuwachs zu erzeugen, was die praktische Anwendbarkeit erhöht. Das Papier liefert allerdings nur Simulationsdaten auf zwei Benchmarks und einen einzigen physischen Aufbau; wie breit die Methode generalisiert, bleibt offen.

Quelle: arXiv cs.AI: FiberTune: Preserving Action-Fiber Visual Residuals in Vision-Language-Action Fine-Tuning (dokument z 2026-09-15). Diese Besprechung entstand auf Grundlage des vollständigen Dokumenttextes, nicht auf Basis von Medienberichten.

// weiterlesenDie KI scannt meine Fotos ohne zu fragen - und mich stört weniger die App als die Heuchelei der NutzerTechnikAnthropic setzt Opus 5 an die Spitze der Rangliste - und mich beeindruckt weniger der Platz als der ReglerTechnikIch lese immer weniger Menschen auf LinkedIn - und das ist das eigentliche ProblemTechnik

Kinetyra