V-JEPA Policy: Robotersteuerung ohne vollständiges Generativmodell

👁 112 Aufrufe

Ein Paper vom 29. September 2026, eingereicht von Yang Zhang und sechs weiteren Autoren auf arXiv, stellt ein Framework namens V-JEPA Policy vor. Es geht um eine Klasse von Modellen, die die Autoren als „Welt-Aktions-Modelle“ (World-Action Models, WAMs) bezeichnen: Systeme, die gleichzeitig zukünftige visuelle Zustände vorhersagen und Aktionen generieren - also für die Steuerung von Robotern oder ähnlichen Agenten gedacht sind.

Das zentrale Problem

Bisherige WAMs bauen laut den Autoren typischerweise auf vollständigen vortrainierten Videogeneratoren oder Bildbearbeitungsmodellen auf. Sie erben dabei sowohl das Vorwissen als auch die komplette Modellarchitektur. Die Kernfrage des Papers lautet: Reicht es stattdessen, nur den latenten Vorhersageraum eines solchen vortrainierten Modells zu nutzen, ohne das gesamte generative Modell zu übernehmen?

Der Ansatz: V-JEPA Policy

Die Antwort der Autoren ist V-JEPA Policy. Das Framework baut auf dem eingefroren gehaltenen Encoder von V-JEPA 2.1 auf - einem vortrainierten visuellen Vorhersagemodell. Auf diesem latenten Raum werden zwei Komponenten gemeinsam von Grund auf neu trainiert: ein anweisungsbedingter Prädiktor für zukünftige latente Zustände sowie ein sogenannter Flow-Matching Action Expert, der die Aktionen erzeugt. Der Prädiktor liefert dabei sogenannte „future-informed context key-value states“, die die Aktionsgenerierung des zweiten Moduls bedingen. Das Training beider Komponenten erfolgt in einer einzigen nachgelagerten Phase.

Das Gesamtmodell umfasst 0,9 Milliarden Parameter, von denen 0,6 Milliarden trainierbar sind. Die restlichen Parameter entfallen auf den eingefrorenen V-JEPA-Encoder.

Ergebnisse und Vergleiche

Die Autoren testen V-JEPA Policy auf drei Benchmarks: LIBERO, LIBERO-Plus und RoboCasa-GR1. Die Ergebnisse werden als „competitive“ gegenüber repräsentativen WAM-Baselines und Vision-Language-Action-Modellen beschrieben. Konkrete Zahlenwerte zu einzelnen Aufgaben sind im Abstract nicht enthalten.

Darüber hinaus vergleichen die Autoren V-JEPA-Latenzen direkt mit alternativen visuellen Grundlagen - darunter diskriminative, rekonstruktive und videoverstehensorientierte Ansätze - unter identischem Trainingsbudget und gleichem Framework. Das Ergebnis: V-JEPA-Latenzen schneiden besser ab, besonders unter Verteilungsverschiebungen, also wenn das Modell auf Situationen trifft, die von den Trainingsdaten abweichen.

Vortraining ohne Aktionslabels

Ein weiterer Befund betrifft das Vortraining: Die Autoren trainieren den Prädiktor auf dem DROID-Datensatz vor, der Video-Anweisungs-Paare ohne Aktionslabels enthält, und passen ihn danach zu einem WAM an. Dies führt laut Paper zu „substantial gains“ sowohl bei der Steuerungsleistung als auch bei der Generalisierung auf unbekannte Verteilungen. Details zur Größe des DROID-Datensatzes oder zur genauen Verbesserung in Prozentzahlen werden im Abstract nicht genannt.

Der Code des Projekts ist laut den Autoren öffentlich verfügbar, die genaue URL ist im Abstract als Verweis angegeben, aber nicht ausgeschrieben.

Was bedeutet das

Meiner Einschätzung nach ist der interessanteste Punkt dieses Papers nicht das Endergebnis auf Benchmarks, sondern die strukturelle These: Man braucht kein vollständiges generatives Videomodell als Grundlage für robotische Steuerung - ein eingefrorener Vorhersage-Encoder genügt. Das vereinfacht das Training erheblich, weil man 0,3 Milliarden Parameter gar nicht anfassen muss. Wenn sich der Befund zur Robustheit unter Verteilungsverschiebungen bestätigt, wäre das praktisch relevant - gerade in der Robotik, wo reale Umgebungen selten exakt dem Training entsprechen. Allerdings fehlen im vorliegenden Abstract konkrete Leistungszahlen, sodass ich die tatsächliche Stärke der Ergebnisse nicht beurteilen kann.

Quelle: arXiv cs.AI: V-JEPA Policy: Building Effective World-Action Models on Predictive Visual Latents (dokument z 2026-09-30). Diese Besprechung entstand auf Grundlage des vollständigen Dokumenttextes, nicht auf Basis von Medienberichten.

// weiterlesenFiberTune: Wie Roboter-KI beim Feintuning weniger vergisstNachrichtenWarum mich das Robotertaxi, das eigenständig die Polizei ruft, begeistertTechnikRettung in letzter Sekunde: Ein Roboter soll ein sterbendes NASA-Teleskop einfangenWeltraum

Kinetyra