# Filtrowanie par obraz–tekst EN: **Image–text pair filtering** · id `imagetextfiltering` · aliases: CLIP filtering, filtrowanie CLIP, filtrowanie par obraz–tekst Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Dane dla AI](https://aiatlasgraph.com/t/data.md) › [Kuracja danych multimodalnych](https://aiatlasgraph.com/t/multimodaldata.md) › Filtrowanie par obraz–tekst ## Description - PL: Selekcja par obraz–tekst z puli webowej według podobieństwa embeddingów, reguł i klasyfikatorów, mierzona jakością wytrenowanego modelu. - EN: Selecting image–text pairs from a web pool by embedding similarity, rules and classifiers, judged by the quality of the trained model. ## In one sentence - PL: Odsiewanie z internetu par zdjęcie–podpis, w których podpis nie pasuje do obrazka albo obrazek jest bezwartościowy. - EN: Weeding out web photo–caption pairs where the caption does not match the picture or the picture is worthless. ## Problem it solves - PL: Miliardy zdjęć z sieci mają podpisy w stylu nazwy pliku lub reklamy, więc model kojarzy słowa z niewłaściwymi obrazami. - EN: Billions of web photos have captions like file names or ads, so a model links words to the wrong pictures. ## What it does - PL: Inny model ocenia, czy słowa i obraz mówią o tym samym, a do nauki trafia tylko najlepiej dopasowana część. - EN: Another model scores whether the words and the image talk about the same thing, and only the best-matched share is kept. ## Everyday example - PL: Zdjęcie psa podpisane „IMG_2041.jpg” wylatuje ze zbioru, a to samo zdjęcie z podpisem „pies na plaży” zostaje. - EN: A dog photo captioned “IMG_2041.jpg” is dropped, while the same photo captioned “a dog on the beach” stays. ## This concerns you if you… - PL: składasz zbiór zdjęć z opisami do nauki modelu - PL: chcesz zrozumieć, jak powstają otwarte zbiory obraz–tekst - EN: are assembling captioned photos to train a model - EN: want to understand how open image–text datasets are made ## Keywords DataComp · CLIP score · LAION · Data Filtering Networks · image-based clustering filter · T-MARS · CommonPool ## How it works - PL: Dla każdej pary liczy się podobieństwo kosinusowe embeddingów obrazu i tekstu z modelu kontrastowego i odcina dolną część rozkładu. Dochodzą filtry językowe, rozdzielczości i klastrowanie po embeddingach pod docelowe zadania. Benchmark typu DataComp ustala stałą pulę, kod i budżet treningu, więc porównuje się wyłącznie strategie filtrowania. - EN: For each pair the cosine similarity of image and text embeddings from a contrastive model is computed and the lower tail is cut. Language, resolution and embedding-cluster filters targeting downstream tasks are added. A DataComp-style benchmark fixes pool, training code and budget, so only filtering strategies are compared. ## Limits - PL: Filtr powiela gusta i luki modelu, którym ocenia, np. gorzej traktuje treści spoza dominującego języka i kultury. Agresywne odcięcie zmniejsza różnorodność; optymalny próg zależy od budżetu obliczeń. - EN: The filter copies the tastes and gaps of the scoring model, e.g. under-serving content outside the dominant language and culture. Aggressive cuts reduce diversity; the best threshold depends on compute budget. ## Key terms - PL: **podobieństwo kosinusowe**: Miara kąta między dwoma wektorami; im bliżej 1, tym bardziej podobne. - PL: **zero-shot accuracy**: Trafność modelu na zadaniu, którego nie trenowano bezpośrednio. - EN: **cosine similarity**: Angle-based similarity of two vectors; closer to 1 means more alike. - EN: **zero-shot accuracy**: Accuracy on a task the model was never directly trained for. ## Know first - [Wspólna przestrzeń obraz–tekst (CLIP) (Contrastive image–text pretraining (CLIP))](https://aiatlasgraph.com/t/clipcontrastive.md) ## Related topics Untyped, symmetric "see also" links. - [Filtrowanie jakości (heurystyki i klasyfikatory) (Quality filtering with heuristics and classifiers)](https://aiatlasgraph.com/t/qualityfiltering.md) ## Sources - [DataComp: In search of the next generation of multimodal datasets]() `gadre-2023-datacomp` · by Samir Yitzhak Gadre, Gabriel Ilharco, Alex Fang, Jonathan Hayase, Georgios Smyrnis, Thao Nguyen, Ryan Marten, Mitchell Wortsman, Dhruba Ghosh, Jieyu Zhang, Eyal Orgad, Rahim Entezari, Giannis Daras, Sarah Pratt, Vivek Ramanujan, Yonatan Bitton, Kalyani Marathe, Stephen Mussmann, Richard Vencu, Mehdi Cherti, Ranjay Krishna, Pang Wei Koh, Olga Saukh, Alexander Ratner, Shuran Song, Hannaneh Hajishirzi, Ali Farhadi, Romain Beaumont, Sewoong Oh, Alex Dimakis, Jenia Jitsev, Yair Carmon, Vaishaal Shankar, Ludwig Schmidt --- AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/imagetextfiltering · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30