# Przeciek danych i nasycenie benchmarków

EN: **Benchmark contamination and saturation** · id `benchcontamination` · aliases: benchmark contamination, data contamination, benchmark saturation, przeciek testów do treningu

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Ewaluacja i interpretowalność](https://aiatlasgraph.com/t/evaluation.md) › [Metryki i benchmarki](https://aiatlasgraph.com/t/metrics.md) › [Benchmarki modeli językowych](https://aiatlasgraph.com/t/llmbenchmarks.md) › Przeciek danych i nasycenie benchmarków

## Description

- PL: Dlaczego wynik na benchmarku bywa mylący: pytania testowe mogły trafić do danych treningowych, a popularne testy przestają odróżniać najlepsze modele, gdy wszystkie mają blisko 100%.
- EN: Why a benchmark score can mislead: test questions may have leaked into training data, and popular tests stop separating top models once all score near 100%.

## In one sentence

- PL: To sprawdzanie, czy test naprawdę mierzy nowe umiejętności, zamiast znajomości pytań lub rozwiązywania zbyt łatwych zadań.
- EN: This checks whether a test measures new capabilities rather than familiar questions or tasks that have become too easy.

## Problem it solves

- PL: Świetny wynik może wynikać z wcześniejszego poznania pytań, a łatwy test przestaje odróżniać mocne modele.
- EN: An excellent score may come from previously seen questions, while an easy test stops distinguishing capable models.

## What it does

- PL: Sprawdza możliwy udział pytań w nauce modelu i szuka świeżych lub trudniejszych zadań, które nadal rozróżniają jego możliwości.
- EN: It checks whether questions may have entered training and seeks fresh or harder tasks that still distinguish model capabilities.

## Everyday example

- PL: Modele niemal bezbłędnie rozwiązują stary zestaw pytań, więc porównujesz je także na nowych przypadkach z własnej pracy.
- EN: Models answer an old question set almost flawlessly, so you also compare them on new cases from your work.

## This concerns you if you…

- PL: wyniki są świetne, ale słabo odpowiadają twojej praktyce
- PL: chcesz sprawdzać świeżość i trudność zestawu testowego
- EN: see high test scores that poorly match practical performance
- EN: want to check test freshness and difficulty

## Keywords

training-test overlap · n-gram matching · paraphrase contamination · benchmark saturation · leaderboard overfitting

## How it works

- PL: Audyt porównuje materiał testowy z dostępnymi danymi treningowymi i szuka powtórzeń lub parafraz. Analiza rozkładu wyników oraz nowych zadań sprawdza, czy benchmark nadal rozróżnia umiejętności modeli.
- EN: Audits compare test material with available training data, searching for repetitions or paraphrases. Score-distribution analysis and new tasks examine whether the benchmark still distinguishes model capabilities.

## Limits

- PL: Nieznane dane treningowe ograniczają wykrywanie przecieku. Słaby wynik nowego testu może mieć inne przyczyny, a nasycenie nie dowodzi, że modele opanowały całą dziedzinę.
- EN: Unknown training data limits leakage detection. Weak performance on new tests can have other causes, and saturation does not prove mastery of an entire domain.

## Key terms

- PL: **kontaminacja benchmarku**: Obecność zadań testowych lub ich odpowiedników w danych użytych do uczenia.
- PL: **zdolność rozróżniania**: Możliwość testu do ujawniania istotnych różnic między modelami.
- EN: **benchmark contamination**: Test tasks or their equivalents appearing in training data.
- EN: **discriminative power**: A test's ability to reveal meaningful differences between models.

## Know first

- [Deduplikacja i dekontaminacja (Deduplication and decontamination)](https://aiatlasgraph.com/t/dedup.md)
- [Podziały i wyciek danych (Data splits and leakage)](https://aiatlasgraph.com/t/splits.md)

## Examples

- PL: przeciek pytań testowych do treningu · wykrywanie kontaminacji · nasycenie MMLU · przeuczenie pod ranking
- EN: test-question leakage into training · contamination detection · MMLU saturation · overfitting to a leaderboard

## Related topics

Untyped, symmetric "see also" links.

- [Deduplikacja i dekontaminacja (Deduplication and decontamination)](https://aiatlasgraph.com/t/dedup.md)
- [Ocena modeli na pytaniach i rozmowach medycznych (Evaluating LLMs on medical questions and conversations)](https://aiatlasgraph.com/t/medllmeval.md)

## Sources

- [Humanity's Last Exam](<https://arxiv.org/abs/2501.14249>) `hle-2025` · by Long Phan, Alice Gatti, Ziwen Han, Nathaniel Li, Josephina Hu, Hugh Zhang i wielu in. (afiliacja w metadanych nieustalona; wg wiedzy modelu CAIS i Scale AI)
- [Benchmark Data Contamination of Large Language Models: A Survey](<https://arxiv.org/abs/2406.04244>) `bdc-survey-2024` · by Cheng Xu, Shuhao Guan, Derek Greene, M-Tahar Kechadi
- [The Leaderboard Illusion](<https://arxiv.org/abs/2504.20879>) `leaderboard-illusion-2025` · by Shivalika Singh, Yiyang Nan, Alex Wang, Daniel D'Souza, Sayash Kapoor, Ahmet Üstün, Sanmi Koyejo, Yuntian Deng, Shayne Longpre, Noah A. Smith, Beyza Ermis, Marzieh Fadaee, Sara Hooker

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/benchcontamination · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30