Modele wizja–język–akcja za kierownicą

Vision-language-action models for driving · id drivingvlm · aliases: driving VLM, driving VLA, LLM for autonomous driving, DriveLM, EMMA, modele językowe w jeździe

Multimodalne modele dostrajane do jazdy, które z obrazów i instrukcji przewidują m.in. trajektorie, obiekty lub elementy drogi jako tekst bądź tokeny akcji.

Multimodal models adapted to driving that use images and instructions to predict trajectories, objects or road elements as text or action tokens.

In one sentence

Duże modele rozumiejące obraz i język, uczone także prowadzić auto i opisywać słowami, co robią na drodze.

Large models that understand images and language, also trained to drive and to explain in words what they are doing on the road.

Problem it solves

Klasyczne systemy jazdy gubią się w nietypowych sytuacjach i nie umieją wytłumaczyć swoich decyzji.

Classic driving systems get lost in unusual situations and cannot explain their decisions.

What it does

Łączy obraz drogi z instrukcjami i opisami tekstowymi, dzięki czemu jedna architektura może wykonywać kilka zadań jazdy i komunikować wyniki.

It combines road imagery with text instructions and descriptions, allowing one architecture to perform several driving tasks and communicate its outputs.

Everyday example

Model opisuje widoczne obiekty, przewiduje trajektorię i tekstowo przedstawia przesłanki manewru w scenie testowej.

In a test scene, the model describes visible objects, predicts a trajectory and gives a textual account of the manoeuvre's basis.

This concerns you if you…

Related topics

Sources