Modele wizja–język (opisywanie obrazów i pytania o nie)
Vision-language models (VLMs) · id vlm · aliases: VLM, vision-language model, visual language model, multimodal LLM, MLLM, large multimodal model, LMM, visual question answering, VQA, image captioning, model wizja–język, multimodalny LLM, opisywanie obrazów
Modele, które łączą obraz lub wideo z tekstem, aby generować odpowiedzi tekstowe: opisują sceny, odpowiadają na pytania o ich treść, czytają dokumenty lub wskazują obiekty. Różnią się skalą i konstrukcją — od modeli działających na urządzeniach po duże systemy używane w analizie interfejsów i rozumowaniu wizualnym.
Models that combine images or video with text to generate textual answers: they describe scenes, answer questions about visual content, read documents or identify objects. They vary in scale and design, from on-device models to large systems used for interface analysis and visual reasoning.
In one sentence
To modele, którym pokazujesz zdjęcie i zadajesz pytanie, a one odpowiadają słowami o tym, co widać.
These are models you can show a picture and ask a question, and they answer in words about what they see.
Problem it solves
Wiele informacji jest tylko na zdjęciach i zrzutach ekranu, a opisanie ich słowami wymaga czasu i oka człowieka.
Much information exists only in photos and screenshots, and putting it into words takes a person's time and eye.
What it does
Jak osoba opisująca obraz przez telefon: przygląda się szczegółom i odpowiada na twoje pytania o nie.
Like someone describing a picture over the phone: it studies the details and answers your questions about them.
Everyday example
Osoba niewidoma kieruje telefon na półkę w sklepie i słyszy, który karton to mleko, a który sok.
A blind shopper points a phone at a shelf and hears which carton is milk and which is juice.
This concerns you if you…
chcesz pytać model o zdjęcia lub zrzuty ekranu
potrzebujesz opisów obrazów dla osób niewidomych
przeglądasz dużo zdjęć i szukasz konkretnej rzeczy
want to ask a model about photos or screenshots
need image descriptions for blind readers
go through many photos looking for one thing
Examples
opisywanie obrazów · VQA · wskazywanie obiektów · rozumienie wideo · LLaVA · Flamingo · Qwen2.5-VL · małe VLM
image captioning · VQA · grounding · video understanding · LLaVA · Flamingo · Qwen2.5-VL · small VLMs
Rozumienie dokumentów, wykresów i zrzutów ekranu (Document, chart and screenshot understanding): Reading and interpreting images rich in text and spatial layout — scans, forms, invoices, charts, infographics and screenshots. Some models work without a separate OCR stage, answer questions or extract data directly from pixels; these capabilities are also used for interface analysis.
Łączenie enkodera obrazu z modelem językowym (Connecting an image encoder to a language model): A common way to build a VLM: a pretrained image encoder produces visual features, while a projector, adapter or cross-attention layers expose them to a language model. The system is then tuned on image-instruction data; the modules trained and number of stages depend on the architecture.