# Modele wizja–język (opisywanie obrazów i pytania o nie) EN: **Vision-language models (VLMs)** · id `vlm` · aliases: VLM, vision-language model, visual language model, multimodal LLM, MLLM, large multimodal model, LMM, visual question answering, VQA, image captioning, model wizja–język, multimodalny LLM, opisywanie obrazów Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Język, obraz, audio](https://aiatlasgraph.com/t/modalities.md) › [Modele multimodalne](https://aiatlasgraph.com/t/multimodal.md) › Modele wizja–język (opisywanie obrazów i pytania o nie) ## Description - PL: Modele, które łączą obraz lub wideo z tekstem, aby generować odpowiedzi tekstowe: opisują sceny, odpowiadają na pytania o ich treść, czytają dokumenty lub wskazują obiekty. Różnią się skalą i konstrukcją — od modeli działających na urządzeniach po duże systemy używane w analizie interfejsów i rozumowaniu wizualnym. - EN: Models that combine images or video with text to generate textual answers: they describe scenes, answer questions about visual content, read documents or identify objects. They vary in scale and design, from on-device models to large systems used for interface analysis and visual reasoning. ## In one sentence - PL: To modele, którym pokazujesz zdjęcie i zadajesz pytanie, a one odpowiadają słowami o tym, co widać. - EN: These are models you can show a picture and ask a question, and they answer in words about what they see. ## Problem it solves - PL: Wiele informacji jest tylko na zdjęciach i zrzutach ekranu, a opisanie ich słowami wymaga czasu i oka człowieka. - EN: Much information exists only in photos and screenshots, and putting it into words takes a person's time and eye. ## What it does - PL: Jak osoba opisująca obraz przez telefon: przygląda się szczegółom i odpowiada na twoje pytania o nie. - EN: Like someone describing a picture over the phone: it studies the details and answers your questions about them. ## Everyday example - PL: Osoba niewidoma kieruje telefon na półkę w sklepie i słyszy, który karton to mleko, a który sok. - EN: A blind shopper points a phone at a shelf and hears which carton is milk and which is juice. ## This concerns you if you… - PL: chcesz pytać model o zdjęcia lub zrzuty ekranu - PL: potrzebujesz opisów obrazów dla osób niewidomych - PL: przeglądasz dużo zdjęć i szukasz konkretnej rzeczy - EN: want to ask a model about photos or screenshots - EN: need image descriptions for blind readers - EN: go through many photos looking for one thing ## Keywords LLaVA · Flamingo · Qwen2.5-VL · visual question answering · image captioning · visual grounding · visual tokens · visual instruction tuning ## How it works - PL: Reprezentacje obrazu trafiają do kontekstu modelu językowego razem z pytaniem lub instrukcją. Trening na parach oraz przykładach dialogowych uczy generowania tekstu warunkowanego wizualnymi cechami, zamiast samą wiedzą zapisaną w wagach. - EN: Image representations enter a language model's context alongside questions or instructions. Paired and dialogue training teaches text generation conditioned on visual features rather than weight-stored knowledge alone. ## Limits - PL: Drobny tekst, liczebność i relacje przestrzenne mogą być odwzorowane słabo. Model może używać prioru językowego mimo brakujących dowodów wizualnych; płynna odpowiedź nie potwierdza odczytu. - EN: Small text, counts and spatial relationships may be weakly represented. Models can rely on language priors despite missing visual evidence; fluent answers do not prove correct perception. ## Key terms - PL: **token wizualny**: Jednostka reprezentacji obrazu przekazywana do modelu językowego. - PL: **visual grounding**: Wsparcie treści odpowiedzi w odpowiednich fragmentach obrazu. - EN: **visual token**: An image-representation unit supplied to a language model. - EN: **visual grounding**: Grounding answer content in corresponding image regions. ## Know first - [Modele bazowe dla obrazu (Vision backbones and foundation models)](https://aiatlasgraph.com/t/visionbackbones.md) - [Transformery i attention (Transformers and attention)](https://aiatlasgraph.com/t/transformers.md) ## Examples - PL: opisywanie obrazów · VQA · wskazywanie obiektów · rozumienie wideo · LLaVA · Flamingo · Qwen2.5-VL · małe VLM - EN: image captioning · VQA · grounding · video understanding · LLaVA · Flamingo · Qwen2.5-VL · small VLMs ## Subtopics (6 direct, 6 in total) - [Automatyczne opisywanie zdjęć (image captioning) (Image captioning)](https://aiatlasgraph.com/t/imagecaptioning.md): Generating a natural-language description of an image with a model joining an image encoder and a text decoder. - [Modele językowe rozumiejące wideo (Video-LLM) (Video-language models (Video-LLMs))](https://aiatlasgraph.com/t/videollm.md): Models joining a video-frame encoder with an LLM for open-ended video understanding: description, questions, temporal localisation and reasoning. - [Pytania i odpowiedzi o treść obrazu (VQA) (Visual question answering (VQA))](https://aiatlasgraph.com/t/vqa.md): Answering a natural-language question about an image's content, open-ended or as multiple choice. - [Rozumienie dokumentów, wykresów i zrzutów ekranu (Document, chart and screenshot understanding)](https://aiatlasgraph.com/t/docvision.md): Reading and interpreting images rich in text and spatial layout — scans, forms, invoices, charts, infographics and screenshots. Some models work without a separate OCR stage, answer questions or extract data directly from pixels; these capabilities are also used for interface analysis. - [Wskazywanie na obrazie rzeczy opisanej słowami (visual grounding) (Visual grounding (referring expression comprehension))](https://aiatlasgraph.com/t/visualgrounding.md): Localising the image region (box or mask) matching a language expression, including expressions matching several objects or none. - [Łączenie enkodera obrazu z modelem językowym (Connecting an image encoder to a language model)](https://aiatlasgraph.com/t/vlmconnector.md): A common way to build a VLM: a pretrained image encoder produces visual features, while a projector, adapter or cross-attention layers expose them to a language model. The system is then tuned on image-instruction data; the modules trained and number of stages depend on the architecture. ## Related topics Untyped, symmetric "see also" links. - [Modele wizja–język dla zdjęć satelitarnych (Remote sensing vision-language models)](https://aiatlasgraph.com/t/rsvlm.md) - [Modele wizja–język–akcja (VLA) (Vision-language-action models (VLA))](https://aiatlasgraph.com/t/vla.md) - [Modele wizja–język–akcja za kierownicą (Vision-language-action models for driving)](https://aiatlasgraph.com/t/drivingvlm.md) - [Nawigacja według poleceń słownych (Vision-and-language navigation (VLN))](https://aiatlasgraph.com/t/vln.md) - [Wykrywanie wad bez przykładów z modelem wizja–język (Zero- and few-shot anomaly detection with vision-language models)](https://aiatlasgraph.com/t/zeroshotdefect.md) ## Sources - [Vision Language Models Explained]() `hf-vlms-explained-2024` · by Merve Noyan, Edward Beeching (Hugging Face) - [Vision Language Models (Better, faster, stronger)]() `hf-vlms-2025` · by Merve Noyan, Sergio Paniego, Aritra Roy Gosthipaty, Pedro Cuenca, Andres Marafioti (Hugging Face) - [A Survey on Multimodal Large Language Models]() `mllm-survey-yin-2023` · by Shukang Yin, Chaoyou Fu, Sirui Zhao, Ke Li, Xing Sun, Tong Xu, Enhong Chen - [Visual Instruction Tuning (LLaVA)]() `llava-2023` · by Haotian Liu, Chunyuan Li, Qingyang Wu, Yong Jae Lee - [Flamingo: a Visual Language Model for Few-Shot Learning]() `flamingo-2022` · by Jean-Baptiste Alayrac, Jeff Donahue, Pauline Luc, Antoine Miech, Iain Barr i in. (DeepMind) --- AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/vlm · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30