Music and sound generation · id audiogen · aliases: audio generation, music generation, text-to-audio, text-to-music, sound effect generation, generowanie muzyki, generowanie dźwięku, tekst na audio, synteza dźwięku
Modele tworzące muzykę, efekty dźwiękowe lub tło akustyczne z opisu tekstowego (czasem z melodią lub tekstem piosenki), zwykle jako modele językowe na dyskretnych tokenach audio albo dyfuzja latentna.
Models that create music, sound effects or ambience from a text prompt (sometimes with a melody or lyrics), usually as language models over discrete audio tokens or as latent diffusion.
In one sentence
To tworzenie muzyki albo odgłosów, takich jak deszcz czy kroki, na podstawie opisu słownego.
This creates music or sounds, such as rain or footsteps, from a written description.
Problem it solves
Znalezienie lub nagranie pasującej muzyki i efektów do filmu czy podcastu zajmuje czas, a licencje bywają kosztowne.
Finding or recording the right music and effects for a video or podcast takes time, and licences can be costly.
What it does
Uczy się powiązań między nagraniami i opisami, a podczas generowania stopniowo buduje dźwięk pasujący do wskazanej sceny.
It learns relationships between recordings and descriptions, then gradually builds audio that fits the requested scene.
Everyday example
Do filmiku z wakacji wpisujesz „spokojna gitara akustyczna, szum morza” i dostajesz kilka pasujących podkładów do wyboru.
For a holiday video you type “calm acoustic guitar, sound of the sea” and get several fitting backing tracks to choose from.
This concerns you if you…
potrzebujesz podkładu lub efektów do filmów i podcastów
tworzysz muzykę i szukasz nowych pomysłów
zastanawiasz się, czy usłyszany utwór napisał człowiek
need music or effects for videos and podcasts
make music and look for new ideas
wonder whether a track you hear was written by a person