Vision-Language-Action-Modell (VLA)

Ein Vision-Language-Action-Modell (VLA) verarbeitet Kamerabilder (Vision) und Sprachanweisungen (Language) und gibt direkt Steueraktionen (Action) aus. VLAs sind die derzeit dominierende Architektur für allgemeine Robotersteuerung und der häufigste Typ eines Robotik-Foundation-Models.

Funktionsweise

Typischerweise baut ein VLA auf einem vortrainierten Vision-Language-Modell (VLM) auf und wird mit Roboter-Demonstrationsdaten nachtrainiert. So überträgt sich Wissen aus dem Web (Objekte, Sprache, Zusammenhänge) auf die physische Steuerung — der Roboter kann neue Aufgaben aus natürlicher Sprache ableiten, statt fest programmiert zu werden.

Wichtige Beispiele

• Gemini Robotics (Google DeepMind) und die Vorläufer RT-2 / RT-X.
• π0 / π0.5 (Physical Intelligence).
• Helix (Figure AI) mit „System 1 / System 2”.
• GR00T N1 (NVIDIA), offen.
• SmolVLA (Hugging Face) und OpenVLA/Octo — offene Referenzmodelle.

Einen Gesamtüberblick mit aktuellem Versionsstand gibt die Foundation-Model-Landschaft.