# Modele multimodalne EN: **Multimodal models** · id `multimodal` Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Język, obraz, audio](https://aiatlasgraph.com/t/modalities.md) › Modele multimodalne ## Description - PL: Wspólne przetwarzanie kilku rodzajów danych. - EN: Processing several kinds of data together. ## In one sentence - PL: To modele, które w jednym miejscu rozumieją naraz tekst, obrazy, dźwięk albo wideo. - EN: These are models that understand text, images, sound or video together in one place. ## Problem it solves - PL: Świat nie składa się z samego tekstu, a osobne programy do zdjęć, mowy i pisma gubią to, co łączy te informacje. - EN: The world is not made of text alone, and separate tools for photos, speech and writing lose what links that information. ## What it does - PL: Zamienia obraz, dźwięk i słowa na wspólny zapis, dzięki czemu model może zestawić zdjęcie z pytaniem o nie. - EN: It turns images, sound and words into one shared form, so the model can match a photo with a question about it. ## Everyday example - PL: Robisz zdjęcie wnętrza lodówki i pytasz, co ugotować na obiad, a asystent proponuje przepis z tego, co widać na półkach. - EN: You photograph the inside of your fridge and ask what to cook, and the assistant suggests a recipe from what is on the shelves. ## This concerns you if you… - PL: pokazujesz modelowi zdjęcia, zrzuty ekranu lub nagrania - PL: chcesz rozmawiać z asystentem głosem i obrazem - PL: łączysz różne rodzaje danych w jednym zadaniu - EN: show a model photos, screenshots or recordings - EN: want to talk to an assistant with voice and images - EN: combine different kinds of data in one task ## Keywords cross-attention · modality alignment · early fusion · late fusion · Qwen3-Omni · Flamingo · visual grounding · shared embedding space ## How it works - PL: Enkodery mapują różne sygnały do reprezentacji, które łączy się przez wspólną przestrzeń, uwagę lub tokeny. Cele parowane i wielozadaniowe uczą zależności między modalnościami oraz dopasowanie odpowiedzi do dostępnych wejść. - EN: Encoders map different signals to representations fused through shared spaces, attention or tokens. Paired and multitask objectives learn cross-modal relationships and align responses with available inputs. ## Limits - PL: Brakujące lub sprzeczne modalności mogą zmieniać predykcję. Synchronizacja, koszt kodowania i nierówna jakość danych ograniczają fuzję; silniejszy kanał może przesłaniać pozostałe. - EN: Missing or conflicting modalities can change predictions. Synchronisation, encoding costs and uneven data quality limit fusion; stronger channels may overshadow others. ## Key terms - PL: **alignment modalności**: Dopasowanie reprezentacji sygnałów odnoszących się do tej samej treści. - PL: **cross-attention**: Uwaga wykorzystująca jedną reprezentację do wyboru informacji z innej. - EN: **modality alignment**: Aligning signal representations referring to the same content. - EN: **cross-attention**: Attention using one representation to select information from another. ## Know first - [Reprezentacje i embeddingi (Representation learning)](https://aiatlasgraph.com/t/representations.md) - [Transformery i attention (Transformers and attention)](https://aiatlasgraph.com/t/transformers.md) ## Examples - PL: Vision-language · speech-language ## Subtopics (3 direct, 9 in total) - [Modele audio–język (rozumienie mowy, dźwięków i muzyki) (Audio-language models)](https://aiatlasgraph.com/t/audiolanguage.md): Language models connected to audio representations that can jointly handle speech, environmental sounds and music: transcription, translation, questions about recordings, audio captioning or speaker-related analysis. The supported task range depends on each model's data and design. - [Modele wizja–język (opisywanie obrazów i pytania o nie) (Vision-language models (VLMs))](https://aiatlasgraph.com/t/vlm.md): Models that combine images or video with text to generate textual answers: they describe scenes, answer questions about visual content, read documents or identify objects. They vary in scale and design, from on-device models to large systems used for interface analysis and visual reasoning. - [Automatyczne opisywanie zdjęć (image captioning) (Image captioning)](https://aiatlasgraph.com/t/imagecaptioning.md): Generating a natural-language description of an image with a model joining an image encoder and a text decoder. - [Modele językowe rozumiejące wideo (Video-LLM) (Video-language models (Video-LLMs))](https://aiatlasgraph.com/t/videollm.md): Models joining a video-frame encoder with an LLM for open-ended video understanding: description, questions, temporal localisation and reasoning. - [Pytania i odpowiedzi o treść obrazu (VQA) (Visual question answering (VQA))](https://aiatlasgraph.com/t/vqa.md): Answering a natural-language question about an image's content, open-ended or as multiple choice. - [Rozumienie dokumentów, wykresów i zrzutów ekranu (Document, chart and screenshot understanding)](https://aiatlasgraph.com/t/docvision.md): Reading and interpreting images rich in text and spatial layout — scans, forms, invoices, charts, infographics and screenshots. Some models work without a separate OCR stage, answer questions or extract data directly from pixels; these capabilities are also used for interface analysis. - [Wskazywanie na obrazie rzeczy opisanej słowami (visual grounding) (Visual grounding (referring expression comprehension))](https://aiatlasgraph.com/t/visualgrounding.md): Localising the image region (box or mask) matching a language expression, including expressions matching several objects or none. - [Łączenie enkodera obrazu z modelem językowym (Connecting an image encoder to a language model)](https://aiatlasgraph.com/t/vlmconnector.md): A common way to build a VLM: a pretrained image encoder produces visual features, while a projector, adapter or cross-attention layers expose them to a language model. The system is then tuned on image-instruction data; the modules trained and number of stages depend on the architecture. - [Ujednolicone modele wielomodalne (wejście i wyjście) (Unified multimodal models with multimodal input and output)](https://aiatlasgraph.com/t/omnimodels.md): Models that handle several input modalities — such as text, images, audio and video — and at least several output forms, such as text or speech. They combine these signals in one system; architectures differ in tokenisation, modality fusion and output generation. ## Related topics Untyped, symmetric "see also" links. - [Modele mowa–mowa (Speech-to-speech models)](https://aiatlasgraph.com/t/speech2speech.md) - [Modele wizja–język–akcja (VLA) (Vision-language-action models (VLA))](https://aiatlasgraph.com/t/vla.md) - [Wspólna przestrzeń obraz–tekst (CLIP) (Contrastive image–text pretraining (CLIP))](https://aiatlasgraph.com/t/clipcontrastive.md) ## Courses - [Building Multimodal Search and RAG]() ## Sources - [Hugging Face · Audio Course]() `audio` · reference: Dane audio, klasyfikacja, ASR, TTS i modele mowy. - [Stanford CS231n · Computer Vision (2026)]() `vision` · reference: Sieci neuronowe i rozumienie obrazów. - [Stanford CS336 · Language Modeling from Scratch (2025)]() `cs336` · reference: Budowa modeli, dane, trening, systemy, inferencja i post-training. - [DeepLearning.AI — course catalogue]() `dlai` · course catalogue: 42 topic labels with counts, about 130 courses. - [Vision Language Models Explained]() `hf-vlms-explained-2024` · by Merve Noyan, Edward Beeching (Hugging Face) - [A Survey on Multimodal Large Language Models]() `mllm-survey-yin-2023` · by Shukang Yin, Chaoyou Fu, Sirui Zhao, Ke Li, Xing Sun, Tong Xu, Enhong Chen --- AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/multimodal · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30