Kuracja danych multimodalnych

Multimodal data curation · id multimodaldata · aliases: image-text data curation, video data curation, kuracja danych obraz-tekst

Filtrowanie, segmentacja i (re)opisywanie danych obraz–tekst, wideo i mowy przed pretrainingiem modeli multimodalnych i generatywnych.

Filtering, segmenting and (re)captioning image–text, video and speech data before pretraining multimodal and generative models.

In one sentence

Przesiewanie i opisywanie milionów zdjęć, filmów i nagrań, zanim posłużą do nauki modeli, które widzą i słyszą.

Sifting and describing millions of photos, videos and recordings before they are used to teach models that see and hear.

Problem it solves

Materiały zebrane z internetu są pełne złych podpisów, nieruchomych ujęć i szumu, przez co model uczy się bałaganu.

Material gathered from the web is full of wrong captions, static shots and noise, so the model learns the mess.

What it does

Działa jak montażysta z archiwum: tnie, ocenia, odrzuca słabe ujęcia i dopisuje porządne opisy do reszty.

It works like an archive film editor: cutting, rating, discarding weak shots and writing proper descriptions for the rest.

Everyday example

Generator obrazów lepiej trzyma się długiego polecenia, bo uczył się na zdjęciach z dokładnymi, a nie przypadkowymi podpisami.

An image generator follows a long request better because it learned from photos with accurate rather than random captions.

This concerns you if you…

• budujesz zbiór zdjęć, filmów lub nagrań do trenowania
• dziwisz się, skąd modele obrazu biorą swoje nawyki
• porównujesz otwarte zbiory danych multimodalnych
• are building a photo, video or audio collection for training
• wonder where image models get their habits from
• compare open multimodal datasets

Subtopics

• Filtrowanie par obraz–tekst (Image–text pair filtering): Selecting image–text pairs from a web pool by embedding similarity, rules and classifiers, judged by the quality of the trained model.
• Kuracja danych wideo (Video data curation for generative models): A multi-stage pipeline: cut detection, clip captioning and filtering by motion, on-screen text, aesthetics and image–text alignment.
• Przygotowanie danych mowy z nagrań „z życia” (In-the-wild speech data curation): A pipeline of normalisation, source separation, diarization, VAD segmentation, automatic transcription and quality filtering for large speech corpora.
• Syntetyczne podpisy do obrazów (recaptioning) (Synthetic image recaptioning): Generating new, dense image descriptions with a vision-language model and training on them instead of or alongside original captions.

Sources

• DataComp: In search of the next generation of multimodal datasets · Samir Yitzhak Gadre, Gabriel Ilharco, Alex Fang, Jonathan Hayase, Georgios Smyrnis, Thao Nguyen, Ryan Marten, Mitchell Wortsman, Dhruba Ghosh, Jieyu Zhang, Eyal Orgad, Rahim Entezari, Giannis Daras, Sarah Pratt, Vivek Ramanujan, Yonatan Bitton, Kalyani Marathe, Stephen Mussmann, Richard Vencu, Mehdi Cherti, Ranjay Krishna, Pang Wei Koh, Olga Saukh, Alexander Ratner, Shuran Song, Hannaneh Hajishirzi, Ali Farhadi, Romain Beaumont, Sewoong Oh, Alex Dimakis, Jenia Jitsev, Yair Carmon, Vaishaal Shankar, Ludwig Schmidt
• What If We Recaption Billions of Web Images with LLaMA-3? · Xianhang Li, Haoqin Tu, Mude Hui, Zeyu Wang, Bingchen Zhao, Junfei Xiao, Sucheng Ren, Jieru Mei, Qing Liu, Huangjie Zheng, Yuyin Zhou, Cihang Xie
• Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets · Andreas Blattmann, Tim Dockhorn, Sumith Kulal, Daniel Mendelevitch, Maciej Kilian, Dominik Lorenz, Yam Levi, Zion English, Vikram Voleti, Adam Letts, Varun Jampani, Robin Rombach
• Emilia: An Extensive, Multilingual, and Diverse Speech Dataset for Large-Scale Speech Generation · Haorui He, Zengqiang Shang, Chaoren Wang, Xuyuan Li, Yicheng Gu, Hua Hua, Liwei Liu, Chen Yang, Jiaqi Li, Peiyang Shi, Yuancheng Wang, Kai Chen, Pengyuan Zhang, Zhizheng Wu