Modele obsługujące kilka modalności wejściowych — np. tekst, obraz, dźwięk i wideo — oraz co najmniej kilka form odpowiedzi, takich jak tekst lub mowa. Łączą te sygnały we wspólnym systemie; konkretne architektury różnią się sposobem tokenizacji, fuzji modalności i generowania wyjść.
Models that handle several input modalities — such as text, images, audio and video — and at least several output forms, such as text or speech. They combine these signals in one system; architectures differ in tokenisation, modality fusion and output generation.
To modele, które łączą tekst, obraz i dźwięk, a zależnie od konstrukcji potrafią odpowiadać w różnych postaciach.
These models combine text, images and audio and, depending on their design, can respond in different forms.
Sklejanie osobnych programów do mowy, obrazu i tekstu spowalnia rozmowę i gubi ton głosu, emocje oraz dźwięki tła.
Chaining separate programs for speech, images and text slows conversation and loses tone of voice, emotion and background sounds.
Wspólne przetwarzanie pozwala zestawiać informacje z różnych sygnałów i przygotować odpowiedź tekstową, głosową lub wizualną obsługiwaną przez dany model.
Joint processing connects information across signals and prepares a text, speech or visual response supported by that model.
Pokazujesz kamerą cieknący kran i pytasz na głos o widoczny zawór, a obsługujący obraz i mowę asystent odpowiada głosem.
You show a dripping tap through a camera and ask aloud about the visible valve; an image-and-speech assistant replies by voice.