# Modele audio–język (rozumienie mowy, dźwięków i muzyki)

EN: **Audio-language models** · id `audiolanguage` · aliases: audio-language models, ALM, large audio-language models, LALM, audio LLM, speech LLM, modele audio–język, LLM słyszące

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Język, obraz, audio](https://aiatlasgraph.com/t/modalities.md) › [Modele multimodalne](https://aiatlasgraph.com/t/multimodal.md) › Modele audio–język (rozumienie mowy, dźwięków i muzyki)

## Description

- PL: Modele językowe połączone z reprezentacją dźwięku, które mogą wspólnie obsługiwać mowę, odgłosy otoczenia i muzykę: transkrypcję, tłumaczenie, pytania o nagranie, opisywanie dźwięków lub analizę cech mówcy. Zakres obsługiwanych zadań zależy od danych i konstrukcji konkretnego modelu.
- EN: Language models connected to audio representations that can jointly handle speech, environmental sounds and music: transcription, translation, questions about recordings, audio captioning or speaker-related analysis. The supported task range depends on each model's data and design.

## In one sentence

- PL: To modele językowe, które potrafią słuchać: rozumieją nie tylko słowa, ale też dźwięki, muzykę i ton głosu.
- EN: These are language models that can listen: they understand not just words but also sounds, music and tone of voice.

## Problem it solves

- PL: Zwykła zamiana mowy na tekst gubi wszystko poza słowami: emocje, odgłosy w tle, muzykę i to, kto mówi.
- EN: Plain speech-to-text drops everything except the words: emotion, background sounds, music and who is speaking.

## What it does

- PL: Łączy cechy dźwięku z językiem, żeby odpowiadać na pytania o nagranie; obsługiwane zadania zależą od modelu.
- EN: It connects audio features with language to answer questions about recordings; supported tasks depend on the model.

## Everyday example

- PL: Wgrywasz nagranie z zebrania i pytasz, w którym momencie ktoś brzmiał na zirytowanego i co wtedy powiedział.
- EN: You upload a meeting recording and ask when someone sounded irritated and what they said at that moment.

## This concerns you if you…

- PL: pracujesz z nagraniami rozmów, audycji lub muzyki
- PL: chcesz pytać o nagranie zamiast go odsłuchiwać
- PL: potrzebujesz opisu dźwięków, nie tylko transkrypcji
- EN: work with recordings of talks, broadcasts or music
- EN: want to ask about a recording instead of replaying it
- EN: need sounds described, not just a transcript

## Keywords

Qwen-Audio · SALMONN · Qwen3-Omni · audio question answering · audio captioning · audio embeddings

## How it works

- PL: Enkoder audio mapuje mowę, muzykę i dźwięki do cech dostępnych modelowi językowemu. Cele wielozadaniowe i warunkowanie instrukcją uczą tekstowych odpowiedzi, transkrypcji oraz opisów zależnych od nagrania.
- EN: An audio encoder maps speech, music and sounds to features available to a language model. Multitask objectives and instruction conditioning teach recording-dependent text answers, transcripts and descriptions.

## Limits

- PL: Wspólna architektura nie zapewnia jednakowej jakości wszystkich zadań. Nakładające się dźwięki, długie nagrania i słabo reprezentowane języki ograniczają rozpoznanie oraz interpretację.
- EN: Shared architectures do not ensure equal quality across tasks. Overlapping sounds, long recordings and underrepresented languages limit recognition and interpretation.

## Key terms

- PL: **embedding audio**: Wektorowa reprezentacja fragmentu sygnału dźwiękowego.
- PL: **audio captioning**: Tworzenie tekstowego opisu zawartości nagrania.
- EN: **audio embedding**: A vector representation of an audio-signal segment.
- EN: **audio captioning**: Generating a textual description of a recording's content.

## Know first

- [Rozpoznawanie mowy / ASR (Automatic speech recognition)](https://aiatlasgraph.com/t/asr.md)
- [Transformery i attention (Transformers and attention)](https://aiatlasgraph.com/t/transformers.md)

## Examples

- PL: pytania o nagranie (audio QA) · opisywanie dźwięków · rozpoznawanie emocji · rozumienie muzyki · Qwen-Audio · SALMONN · Qwen3-Omni
- EN: audio question answering · audio captioning · emotion recognition · music understanding · Qwen-Audio · SALMONN · Qwen3-Omni

## Related topics

Untyped, symmetric "see also" links.

- [Rozpoznawanie dźwięków i klasyfikacja nagrań (Audio and sound event classification)](https://aiatlasgraph.com/t/audioclassification.md)
- [Rozpoznawanie mowy / ASR (Automatic speech recognition)](https://aiatlasgraph.com/t/asr.md)

## Sources

- [Qwen2.5-Omni Technical Report](<https://arxiv.org/abs/2503.20215>) `qwen25-omni-2025` · by Jin Xu, Zhifang Guo, Jinzheng He, Hangrui Hu i in. (Qwen Team, Alibaba) · sponsored
- [Qwen3-Omni Technical Report](<https://arxiv.org/abs/2509.17765>) `qwen3-omni-2025` · by Jin Xu, Zhifang Guo, Hangrui Hu, Yunfei Chu, Xiong Wang i in. (Qwen Team, Alibaba) · sponsored
- [Qwen-Audio: Advancing Universal Audio Understanding via Unified Large-Scale Audio-Language Models](<https://arxiv.org/abs/2311.07919>) `qwen-audio-2023` · by Yunfei Chu, Jin Xu, Xiaohuan Zhou, Qian Yang, Shiliang Zhang, Zhijie Yan, Chang Zhou, Jingren Zhou (Alibaba) · sponsored
- [SALMONN: Towards Generic Hearing Abilities for Large Language Models](<https://arxiv.org/abs/2310.13289>) `salmonn-2023` · by Changli Tang, Wenyi Yu, Guangzhi Sun, Xianzhao Chen, Tian Tan, Wei Li, Lu Lu, Zejun Ma, Chao Zhang (Tsinghua / ByteDance)
- [Audio-Language Models for Audio-Centric Tasks: A Systematic Survey](<https://arxiv.org/abs/2501.15177>) `alm-survey-su-2025` · by Yi Su, Jisheng Bai, Qisheng Xu, Kele Xu, Yong Dou

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/audiolanguage · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30