Modele językowe rozumiejące wideo (Video-LLM)

Video-language models (Video-LLMs) · id videollm · aliases: video language model, video LLM, Video-LLM, wideo-LLM

Modele łączące enkoder klatek wideo z LLM do otwartego rozumienia nagrań: opisów, pytań, lokalizacji czasowej i rozumowania.

Models joining a video-frame encoder with an LLM for open-ended video understanding: description, questions, temporal localisation and reasoning.

In one sentence

Model ogląda nagranie i rozmawia o nim: streszcza, odpowiada na pytania i wskazuje, w którym momencie coś się działo.

A model watches a recording and talks about it: it summarises, answers questions and says when something happened.

Problem it solves

Godziny nagrań — wykładów, spotkań, monitoringu — nikt nie ma czasu obejrzeć, a trzeba z nich coś wyłowić.

Nobody has time to watch hours of lectures, meetings or camera footage, yet something must be found in them.

What it does

Jak ktoś, kto obejrzał film za ciebie i z notatkami w ręku odpowiada, co było w 12. minucie i dlaczego.

Like someone who watched the film for you and, notes in hand, tells you what happened at minute twelve and why.

Everyday example

Wrzucasz nagranie wykładu i pytasz, gdzie prowadzący tłumaczył wzór — dostajesz minutę i krótkie wyjaśnienie.

You upload a lecture and ask where the formula was explained — you get the minute and a short explanation.

This concerns you if you…

Related topics

Sources