# Kuracja danych multimodalnych EN: **Multimodal data curation** · id `multimodaldata` · aliases: image-text data curation, video data curation, kuracja danych obraz-tekst Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Dane dla AI](https://aiatlasgraph.com/t/data.md) › Kuracja danych multimodalnych ## Description - PL: Filtrowanie, segmentacja i (re)opisywanie danych obraz–tekst, wideo i mowy przed pretrainingiem modeli multimodalnych i generatywnych. - EN: Filtering, segmenting and (re)captioning image–text, video and speech data before pretraining multimodal and generative models. ## In one sentence - PL: Przesiewanie i opisywanie milionów zdjęć, filmów i nagrań, zanim posłużą do nauki modeli, które widzą i słyszą. - EN: Sifting and describing millions of photos, videos and recordings before they are used to teach models that see and hear. ## Problem it solves - PL: Materiały zebrane z internetu są pełne złych podpisów, nieruchomych ujęć i szumu, przez co model uczy się bałaganu. - EN: Material gathered from the web is full of wrong captions, static shots and noise, so the model learns the mess. ## What it does - PL: Działa jak montażysta z archiwum: tnie, ocenia, odrzuca słabe ujęcia i dopisuje porządne opisy do reszty. - EN: It works like an archive film editor: cutting, rating, discarding weak shots and writing proper descriptions for the rest. ## Everyday example - PL: Generator obrazów lepiej trzyma się długiego polecenia, bo uczył się na zdjęciach z dokładnymi, a nie przypadkowymi podpisami. - EN: An image generator follows a long request better because it learned from photos with accurate rather than random captions. ## This concerns you if you… - PL: budujesz zbiór zdjęć, filmów lub nagrań do trenowania - PL: dziwisz się, skąd modele obrazu biorą swoje nawyki - PL: porównujesz otwarte zbiory danych multimodalnych - EN: are building a photo, video or audio collection for training - EN: wonder where image models get their habits from - EN: compare open multimodal datasets ## Keywords DataComp · LAION-5B · CLIP score filtering · recaptioning · PySceneDetect · optical flow filtering · aesthetic predictor · Emilia-Pipe · DNSMOS · video-text datasets · data filtering networks ## How it works - PL: Pipeline łączy tanie sygnały: podobieństwo obraz–tekst z modelu kontrastowego, oceny estetyki, przepływ optyczny, OCR, jakość akustyczną i detekcję języka. Progi dobiera się eksperymentalnie, trenując małe modele na podzbiorach. Coraz częściej oryginalne podpisy zastępuje się syntetycznymi opisami z modeli wizja–język. - EN: Pipelines combine cheap signals: image–text similarity from a contrastive model, aesthetic scores, optical flow, OCR, acoustic quality and language ID. Thresholds are chosen experimentally by training small models on subsets. Original captions are increasingly replaced with synthetic descriptions from vision-language models. ## Limits - PL: Filtr oparty na istniejącym modelu dziedziczy jego uprzedzenia i może wycinać całe grupy treści. Każdy etap wymaga uruchomienia dużych modeli na miliardach próbek, a dobór progów jest kosztowny. - EN: A filter built on an existing model inherits its biases and can cut out whole groups of content. Every stage runs large models over billions of samples, and threshold tuning is expensive. ## Key terms - PL: **CLIP score**: Miara, jak dobrze podpis pasuje do obrazu według modelu kontrastowego. - PL: **pula kandydatów**: Surowy, nieprzefiltrowany zbiór par, z którego wybiera się dane. - PL: **recaptioning**: Zastępowanie oryginalnych podpisów nowymi opisami wygenerowanymi przez model. - EN: **CLIP score**: How well a caption matches an image according to a contrastive model. - EN: **candidate pool**: Raw, unfiltered collection of pairs from which training data is selected. - EN: **recaptioning**: Replacing original captions with new model-generated descriptions. ## Know first - [Wspólna przestrzeń obraz–tekst (CLIP) (Contrastive image–text pretraining (CLIP))](https://aiatlasgraph.com/t/clipcontrastive.md) - [Modele wizja–język (opisywanie obrazów i pytania o nie) (Vision-language models (VLMs))](https://aiatlasgraph.com/t/vlm.md) ## Subtopics (4 direct, 4 in total) - [Filtrowanie par obraz–tekst (Image–text pair filtering)](https://aiatlasgraph.com/t/imagetextfiltering.md): Selecting image–text pairs from a web pool by embedding similarity, rules and classifiers, judged by the quality of the trained model. - [Kuracja danych wideo (Video data curation for generative models)](https://aiatlasgraph.com/t/videocuration.md): A multi-stage pipeline: cut detection, clip captioning and filtering by motion, on-screen text, aesthetics and image–text alignment. - [Przygotowanie danych mowy z nagrań „z życia” (In-the-wild speech data curation)](https://aiatlasgraph.com/t/speechdatacuration.md): A pipeline of normalisation, source separation, diarization, VAD segmentation, automatic transcription and quality filtering for large speech corpora. - [Syntetyczne podpisy do obrazów (recaptioning) (Synthetic image recaptioning)](https://aiatlasgraph.com/t/recaptioning.md): Generating new, dense image descriptions with a vision-language model and training on them instead of or alongside original captions. ## Sources - [DataComp: In search of the next generation of multimodal datasets]() `gadre-2023-datacomp` · by Samir Yitzhak Gadre, Gabriel Ilharco, Alex Fang, Jonathan Hayase, Georgios Smyrnis, Thao Nguyen, Ryan Marten, Mitchell Wortsman, Dhruba Ghosh, Jieyu Zhang, Eyal Orgad, Rahim Entezari, Giannis Daras, Sarah Pratt, Vivek Ramanujan, Yonatan Bitton, Kalyani Marathe, Stephen Mussmann, Richard Vencu, Mehdi Cherti, Ranjay Krishna, Pang Wei Koh, Olga Saukh, Alexander Ratner, Shuran Song, Hannaneh Hajishirzi, Ali Farhadi, Romain Beaumont, Sewoong Oh, Alex Dimakis, Jenia Jitsev, Yair Carmon, Vaishaal Shankar, Ludwig Schmidt - [What If We Recaption Billions of Web Images with LLaMA-3?]() `li-2024-recap-datacomp` · by Xianhang Li, Haoqin Tu, Mude Hui, Zeyu Wang, Bingchen Zhao, Junfei Xiao, Sucheng Ren, Jieru Mei, Qing Liu, Huangjie Zheng, Yuyin Zhou, Cihang Xie - [Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets]() `blattmann-2023-svd` · by Andreas Blattmann, Tim Dockhorn, Sumith Kulal, Daniel Mendelevitch, Maciej Kilian, Dominik Lorenz, Yam Levi, Zion English, Vikram Voleti, Adam Letts, Varun Jampani, Robin Rombach - [Emilia: An Extensive, Multilingual, and Diverse Speech Dataset for Large-Scale Speech Generation]() `he-2024-emilia` · by Haorui He, Zengqiang Shang, Chaoren Wang, Xuyuan Li, Yicheng Gu, Hua Hua, Liwei Liu, Chen Yang, Jiaqi Li, Peiyang Shi, Yuancheng Wang, Kai Chen, Pengyuan Zhang, Zhizheng Wu --- AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/multimodaldata · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30