Modele językowe połączone z reprezentacją dźwięku, które mogą wspólnie obsługiwać mowę, odgłosy otoczenia i muzykę: transkrypcję, tłumaczenie, pytania o nagranie, opisywanie dźwięków lub analizę cech mówcy. Zakres obsługiwanych zadań zależy od danych i konstrukcji konkretnego modelu.
Language models connected to audio representations that can jointly handle speech, environmental sounds and music: transcription, translation, questions about recordings, audio captioning or speaker-related analysis. The supported task range depends on each model's data and design.
In one sentence
To modele językowe, które potrafią słuchać: rozumieją nie tylko słowa, ale też dźwięki, muzykę i ton głosu.
These are language models that can listen: they understand not just words but also sounds, music and tone of voice.
Problem it solves
Zwykła zamiana mowy na tekst gubi wszystko poza słowami: emocje, odgłosy w tle, muzykę i to, kto mówi.
Plain speech-to-text drops everything except the words: emotion, background sounds, music and who is speaking.
What it does
Łączy cechy dźwięku z językiem, żeby odpowiadać na pytania o nagranie; obsługiwane zadania zależą od modelu.
It connects audio features with language to answer questions about recordings; supported tasks depend on the model.
Everyday example
Wgrywasz nagranie z zebrania i pytasz, w którym momencie ktoś brzmiał na zirytowanego i co wtedy powiedział.
You upload a meeting recording and ask when someone sounded irritated and what they said at that moment.
This concerns you if you…
pracujesz z nagraniami rozmów, audycji lub muzyki
chcesz pytać o nagranie zamiast go odsłuchiwać
potrzebujesz opisu dźwięków, nie tylko transkrypcji
work with recordings of talks, broadcasts or music
want to ask about a recording instead of replaying it
need sounds described, not just a transcript
Examples
pytania o nagranie (audio QA) · opisywanie dźwięków · rozpoznawanie emocji · rozumienie muzyki · Qwen-Audio · SALMONN · Qwen3-Omni