# Modele wizja–język–akcja za kierownicą

EN: **Vision-language-action models for driving** · id `drivingvlm` · aliases: driving VLM, driving VLA, LLM for autonomous driving, DriveLM, EMMA, modele językowe w jeździe

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Autonomiczna jazda](https://aiatlasgraph.com/t/autodriving.md) › [Jazda end-to-end](https://aiatlasgraph.com/t/e2edriving.md) › Modele wizja–język–akcja za kierownicą

## Description

- PL: Multimodalne modele dostrajane do jazdy, które z obrazów i instrukcji przewidują m.in. trajektorie, obiekty lub elementy drogi jako tekst bądź tokeny akcji.
- EN: Multimodal models adapted to driving that use images and instructions to predict trajectories, objects or road elements as text or action tokens.

## In one sentence

- PL: Duże modele rozumiejące obraz i język, uczone także prowadzić auto i opisywać słowami, co robią na drodze.
- EN: Large models that understand images and language, also trained to drive and to explain in words what they are doing on the road.

## Problem it solves

- PL: Klasyczne systemy jazdy gubią się w nietypowych sytuacjach i nie umieją wytłumaczyć swoich decyzji.
- EN: Classic driving systems get lost in unusual situations and cannot explain their decisions.

## What it does

- PL: Łączy obraz drogi z instrukcjami i opisami tekstowymi, dzięki czemu jedna architektura może wykonywać kilka zadań jazdy i komunikować wyniki.
- EN: It combines road imagery with text instructions and descriptions, allowing one architecture to perform several driving tasks and communicate its outputs.

## Everyday example

- PL: Model opisuje widoczne obiekty, przewiduje trajektorię i tekstowo przedstawia przesłanki manewru w scenie testowej.
- EN: In a test scene, the model describes visible objects, predicts a trajectory and gives a textual account of the manoeuvre's basis.

## This concerns you if you…

- PL: interesuje cię, jak duże modele językowe trafiają do aut
- PL: chcesz, by maszyna tłumaczyła swoje decyzje
- PL: pracujesz z modelami obrazu i tekstu
- EN: are curious how large language models reach cars
- EN: want a machine to explain its decisions
- EN: work with image-and-text models

## Keywords

DriveLM · EMMA · Graph VQA · vision-language-action · multimodal driving model · nuScenes · Waymo Open Motion Dataset

## How it works

- PL: Obrazy z kamer trafiają do multimodalnego modelu, a wyjścia nieobrazowe — np. trajektoria, obiekty lub elementy drogi — mogą być zapisane jako tekst. Prompt wybiera zadanie; Graph VQA łączy pytania o percepcję, predykcję i planowanie.
- EN: Camera images enter a multimodal model, while non-image outputs such as trajectories, objects or road elements can be represented as text. A prompt selects the task; Graph VQA links questions about perception, prediction and planning.

## Limits

- PL: Duże modele są wolne i drogie do uruchomienia w aucie w czasie rzeczywistym. Mogą halucynować, słabo wykorzystują LiDAR i geometrię 3D, a słowne wyjaśnienie nie gwarantuje, że opisuje prawdziwą przyczynę decyzji.
- EN: Large models are slow and costly to run in a car in real time. They can hallucinate, make weak use of LiDAR and 3D geometry, and a verbal explanation does not guarantee it reflects the real cause of a decision.

## Key terms

- PL: **VLA**: Model łączący obraz, język i wyjście w postaci działań.
- PL: **Graph VQA**: Powiązane pytania o percepcję, predykcję i plan, prowadzące do decyzji.
- PL: **tokeny akcji**: Ruch zapisany jako ciąg symboli, jak słowa w zdaniu.
- EN: **VLA**: A model combining vision, language and action outputs.
- EN: **Graph VQA**: Linked questions about perception, prediction and plan leading to a decision.
- EN: **action tokens**: Motion written as a sequence of symbols, like words in a sentence.

## Know first

- [Modele wizja–język (opisywanie obrazów i pytania o nie) (Vision-language models (VLMs))](https://aiatlasgraph.com/t/vlm.md)
- [Modele wizja–język–akcja (VLA) (Vision-language-action models (VLA))](https://aiatlasgraph.com/t/vla.md)

## Related topics

Untyped, symmetric "see also" links.

- [Modele wizja–język (opisywanie obrazów i pytania o nie) (Vision-language models (VLMs))](https://aiatlasgraph.com/t/vlm.md)
- [Modele wizja–język–akcja (VLA) (Vision-language-action models (VLA))](https://aiatlasgraph.com/t/vla.md)

## Sources

- [DriveLM: Driving with Graph Visual Question Answering](<https://arxiv.org/abs/2312.14150>) `drivelm-2023` · by Chonghao Sima, Katrin Renz, Kashyap Chitta, Li Chen, Hanxue Zhang, Chengen Xie i in. (10 autorów)
- [EMMA: End-to-End Multimodal Model for Autonomous Driving](<https://arxiv.org/abs/2410.23262>) `emma-2024` · by Jyh-Jing Hwang, Runsheng Xu, Hubert Lin, Wei-Chih Hung, Jingwei Ji, Kristy Choi i in. (14 autorów, Waymo) · sponsored

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/drivingvlm · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30