Benchmark contamination and saturation · id benchcontamination · aliases: benchmark contamination, data contamination, benchmark saturation, przeciek testów do treningu
Dlaczego wynik na benchmarku bywa mylący: pytania testowe mogły trafić do danych treningowych, a popularne testy przestają odróżniać najlepsze modele, gdy wszystkie mają blisko 100%.
Why a benchmark score can mislead: test questions may have leaked into training data, and popular tests stop separating top models once all score near 100%.
In one sentence
To sprawdzanie, czy test naprawdę mierzy nowe umiejętności, zamiast znajomości pytań lub rozwiązywania zbyt łatwych zadań.
This checks whether a test measures new capabilities rather than familiar questions or tasks that have become too easy.
Problem it solves
Świetny wynik może wynikać z wcześniejszego poznania pytań, a łatwy test przestaje odróżniać mocne modele.
An excellent score may come from previously seen questions, while an easy test stops distinguishing capable models.
What it does
Sprawdza możliwy udział pytań w nauce modelu i szuka świeżych lub trudniejszych zadań, które nadal rozróżniają jego możliwości.
It checks whether questions may have entered training and seeks fresh or harder tasks that still distinguish model capabilities.
Everyday example
Modele niemal bezbłędnie rozwiązują stary zestaw pytań, więc porównujesz je także na nowych przypadkach z własnej pracy.
Models answer an old question set almost flawlessly, so you also compare them on new cases from your work.
This concerns you if you…
wyniki są świetne, ale słabo odpowiadają twojej praktyce
chcesz sprawdzać świeżość i trudność zestawu testowego
see high test scores that poorly match practical performance
want to check test freshness and difficulty
Examples
przeciek pytań testowych do treningu · wykrywanie kontaminacji · nasycenie MMLU · przeuczenie pod ranking
test-question leakage into training · contamination detection · MMLU saturation · overfitting to a leaderboard
Humanity's Last Exam · Long Phan, Alice Gatti, Ziwen Han, Nathaniel Li, Josephina Hu, Hugh Zhang i wielu in. (afiliacja w metadanych nieustalona; wg wiedzy modelu CAIS i Scale AI)