Usuwanie semantycznych prawie-duplikatów przez klastrowanie embeddingów z wytrenowanego modelu i odcięcie par powyżej progu podobieństwa.
Removing semantic near-duplicates by clustering embeddings from a pretrained model and pruning pairs above a similarity threshold.
Usuwanie przykładów, które nie są kopiami, ale znaczą prawie to samo, np. to samo zdjęcie w innym kadrze.
Removing examples that are not copies but mean nearly the same, like the same photo cropped differently.
Zwykłe porównanie znaków nie wyłapie parafraz i przyciętych zdjęć, więc model marnuje czas na te same treści.
Plain character matching misses paraphrases and cropped photos, so a model wastes time on the same content.
Zamienia każdy przykład na punkt na mapie znaczeń i z ciasnych skupisk zostawia tylko po jednym przedstawicielu.
It turns each example into a point on a map of meaning and keeps just one representative from each tight cluster.
Z tysiąca prawie identycznych zdjęć tej samej wieży w zbiorze zostaje kilka, a trening trwa krócej.
Of a thousand near-identical photos of the same tower, only a few stay in the collection, and training is shorter.