HERMES: KI-System für autonomes Fahren in seltenen Gefahrensituationen
Forscher stellen HERMES vor, ein multimodales End-to-End-Framework für autonomes Fahren, das speziell auf seltene, sicherheitskritische Verkehrssituationen ausgelegt ist. Das System kombiniert Sprachmodelle mit visuellen Sensordaten, um risikobasierte Fahrplanung zu ermöglichen.
👁 114 Aufrufe
- HERMES steht für 'Holistic End-to-End Risk-Aware Multimodal Embodied System' und soll autonome Fahrzeuge gezielt bei seltenen, sicherheitskritischen Verkehrsszenarien verbessern.
- Das Tri-Modal Driving Module verarbeitet gleichzeitig visuelle Kameradaten, historische Fahrzeugbewegungen und semantische Langtextanweisungen zu seltenen Situationen.
- Zwischen Ersteinreichung am 1. Februar 2026 und überarbeiteter Fassung am 18. September 2026 schrumpfte die Dateigröße von 7.888 KB auf 3.925 KB - was gestrichen wurde, ist unbekannt.
Am 1. Februar 2026 veröffentlichten Weizhe Tang und sieben weitere Autoren auf arXiv ein Paper mit dem Titel „HERMES: A Holistic End-to-End Risk-Aware Multimodal Embodied System with Vision-Language Models for Long-Tail Autonomous Driving“. Eine überarbeitete Fassung erschien am 18. September 2026. Das Paper ist den Kategorien Robotik (cs.RO) und Künstliche Intelligenz (cs.AI) zugeordnet.
Das Problem: Seltene Situationen überfordern bestehende Systeme
Moderne End-to-End-Modelle für autonomes Fahren profitieren zwar zunehmend von großen Vision-Language-Modellen für das semantische Verstehen der Umgebung - doch die Autoren halten fest, dass „safe and reliable planning under long-tail conditions remains challenging“. Gemeint sind damit seltene, aber sicherheitskritische Verkehrsszenarien, insbesondere in gemischtem Verkehr mit verschiedenartigen Verkehrsteilnehmern und ungewöhnlichen Interaktionen. Solche Situationen tauchen in Trainingsdaten nur selten auf, sind aber im realen Betrieb besonders gefährlich.
Was HERMES macht
Das vorgestellte System trägt den Namen HERMES, was für „Holistic End-to-End Risk-Aware Multimodal Embodied System“ steht. Laut Paper handelt es sich um ein Framework, das „long-tail semantic knowledge explicitly into trajectory planning“ einbezieht - also Wissen über seltene Szenarien direkt in die Berechnung von Fahrtrajektorien einbettet.
Dafür nutzen die Autoren zunächst eine sogenannte „foundation-model-assisted annotation pipeline“, um zwei strukturierte Datenkategorien zu erzeugen: den „Long-Tail Scene Context“ und den „Long-Tail Planning Context“. Ersterer erfasst gefahrenzentrierte Szenenbeschreibungen und Informationen zu Manöverabsichten, letzterer liefert risikobasierte Planungshinweise. Wie genau diese Pipeline aufgebaut ist und welche Foundation Models dabei zum Einsatz kommen, geht aus dem Abstract nicht hervor.
Der eigentliche Verarbeitungskern ist das sogenannte „Tri-Modal Driving Module“. Dieses Modul verarbeitet drei Informationsquellen gleichzeitig: visuelle Beobachtungen aus mehreren Kameraperspektiven, historische Bewegungsdaten des eigenen Fahrzeugs sowie die erzeugten semantischen Langtext-Anweisungen zu seltenen Situationen. Die Kombination dieser drei Modalitäten soll eine absichts- und risikobasierte Konditionierung der Trajektorienerzeugung ermöglichen.
Experimente und Ergebnisse
Die Autoren berichten, dass „extensive experiments on a large-scale real-world long-tail driving benchmark consistent improvements over representative recent baselines“ zeigen - sowohl bei der allgemeinen Planungsleistung als auch in verschiedenen sicherheitskritischen Szenarien. Konkrete Zahlenwerte zu diesen Verbesserungen sind im Abstract nicht enthalten. Zusätzlich wurden Ablationsstudien durchgeführt, die laut den Autoren „the effectiveness and complementary roles of the major components within HERMES“ bestätigen.
Welcher Benchmark genau verwendet wurde, wie groß der Datensatz ist und wie die Metriken im Detail aussehen, lässt sich dem vorliegenden Abstract nicht entnehmen. Angaben zu Rechenaufwand, Latenz oder einer etwaigen Implementierung in realen Fahrzeugen fehlen ebenfalls.
Google · Deine QuellenWissnox höher in Ihrem Google - mit einem KlickZu bevorzugten Quellen hinzufügen →Was bedeutet das
Meiner Einschätzung nach adressiert HERMES ein echtes strukturelles Problem im autonomen Fahren: Systeme, die auf häufigen Situationen trainiert wurden, versagen genau dort, wo es am meisten darauf ankommt. Der Ansatz, sprachbasiertes Wissen über Randsituationen direkt in die Trajektorienplanung zu integrieren, klingt konzeptuell schlüssig. Allerdings liefert das Abstract keine einzige konkrete Kennzahl, was eine unabhängige Einschätzung der tatsächlichen Leistungssteigerung unmöglich macht. Dass zwischen Ersteinreichung und überarbeiteter Fassung die Dateigröße von 7.888 KB auf 3.925 KB fast halbiert wurde, ist auffällig - was dabei gestrichen wurde, bleibt offen. Für eine belastbare Bewertung müsste man das vollständige Paper lesen.
Quelle: arXiv cs.AI: HERMES: A Holistic End-to-End Risk-Aware Multimodal Embodied System with Vision-Language Models for Long-Tail Autonomous Driving (dokument z 2026-09-21). Diese Besprechung entstand auf Grundlage des vollständigen Dokumenttextes, nicht auf Basis von Medienberichten.
Häufig gestellte Fragen
Was ist HERMES im Bereich autonomes Fahren?
HERMES ist ein KI-Framework von Weizhe Tang und sieben weiteren Autoren, das seltene Gefahrensituationen direkt in die Trajektorienplanung autonomer Fahrzeuge einbettet. Es wurde am 1. Februar 2026 auf arXiv veröffentlicht und den Kategorien Robotik und Künstliche Intelligenz zugeordnet.
Wie löst HERMES das Problem mit seltenen Verkehrsszenarien beim autonomen Fahren?
HERMES nutzt eine 'foundation-model-assisted annotation pipeline', die zwei Datenkategorien erzeugt: 'Long-Tail Scene Context' für gefahrenzentrierte Szenenbeschreibungen und 'Long-Tail Planning Context' für risikobasierte Planungshinweise. Diese werden dann im Tri-Modal Driving Module zusammen mit Kamerabildern und Fahrzeugbewegungsdaten verarbeitet.
Wie gut schneidet HERMES im Vergleich zu anderen Systemen ab?
Die Autoren berichten über konsistente Verbesserungen gegenüber aktuellen Vergleichssystemen auf einem großangelegten realen Benchmark für seltene Fahrsituationen. Konkrete Zahlenwerte sind im Abstract jedoch nicht enthalten, sodass eine unabhängige Bewertung der Leistungssteigerung nicht möglich ist.
Welche Daten verarbeitet das Tri-Modal Driving Module in HERMES?
Das Modul verarbeitet drei Quellen gleichzeitig: visuelle Beobachtungen aus mehreren Kameraperspektiven, historische Bewegungsdaten des eigenen Fahrzeugs sowie semantische Langtext-Anweisungen zu seltenen Situationen. Diese Kombination soll eine absichts- und risikobasierte Steuerung der Fahrtrajektorie ermöglichen.
More on this from WISSNOX
anleitungen·Wie man eine Einkaufsliste für die Woche erstellt mit KI: Schritt für SchrittWie man eine Einkaufsliste für die Woche erstellt mit Hilfe von KI - Schritt für Schritt, mit fertigen Prompts zum Kopieren und Hinweis, welches Tool man wählen sollte.