# Benchmarki stale odświeżane nowymi pytaniami

EN: **Continuously refreshed (live) benchmarks** · id `livebenchmarks` · aliases: live benchmarks, dynamic benchmarks, rolling benchmarks, benchmarki dynamiczne

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Ewaluacja i interpretowalność](https://aiatlasgraph.com/t/evaluation.md) › [Metryki i benchmarki](https://aiatlasgraph.com/t/metrics.md) › [Benchmarki modeli językowych](https://aiatlasgraph.com/t/llmbenchmarks.md) › Benchmarki stale odświeżane nowymi pytaniami

## Description

- PL: Benchmarki regularnie zasilane nowymi pytaniami z niedawnych źródeł (konkursy, publikacje, wiadomości), oceniane automatycznie względem odpowiedzi wzorcowych.
- EN: Benchmarks regularly fed with new questions from recent sources (contests, papers, news), scored automatically against ground-truth answers.

## In one sentence

- PL: Testy dla AI, do których regularnie dokłada się świeże pytania, żeby model nie mógł ich wcześniej zobaczyć.
- EN: Tests for AI that regularly get fresh questions, so a model cannot have seen them before.

## Problem it solves

- PL: Pytania ze starych testów trafiają do internetu i danych treningowych, więc wysoki wynik może oznaczać pamięć zamiast umiejętności.
- EN: Old test questions leak into the internet and training data, so a high score may reflect memory rather than skill.

## What it does

- PL: Jak egzamin, który co miesiąc ma nowe zadania z bieżących wydarzeń, więc nie da się go zdać z kluczem odpowiedzi.
- EN: Like an exam with new tasks from current events every month, so an answer key from last time does not help.

## Everyday example

- PL: Porównujesz dwa modele na zadaniach matematycznych z konkursu sprzed kilku tygodni, opublikowanego już po ich treningu.
- EN: You compare two models on maths problems from a contest held a few weeks ago, published after their training ended.

## This concerns you if you…

- PL: nie ufasz wynikom modeli w starych, znanych testach
- PL: chcesz śledzić postęp modeli w czasie
- EN: distrust model scores on old, well-known tests
- EN: want to track model progress over time

## Keywords

LiveBench · LiveCodeBench · Dynabench · contamination-free evaluation · knowledge cutoff · held-out test sets · rolling benchmarks

## How it works

- PL: Pytania tworzy się z materiałów opublikowanych po dacie odcięcia wiedzy ocenianych modeli albo trudniejsze warianty starszych zadań. Zestaw odświeża się cyklicznie, a ocena opiera się na obiektywnych odpowiedziach, bez sędziów LLM. Wyniki raportuje się dla okna czasowego pytań.
- EN: Questions are built from material published after the evaluated models' knowledge cutoff, or as harder variants of older tasks. The set is refreshed periodically and scored against objective answers, without LLM judges. Results are reported per question time window.

## Limits

- PL: Odświeżanie wymaga stałej pracy i utrudnia porównanie wyników z różnych miesięcy. Automatyczne ocenianie zawęża zadania do tych z jednoznaczną odpowiedzią, a opublikowane pytania z czasem i tak trafiają do danych treningowych.
- EN: Refreshing takes ongoing effort and complicates comparing results across months. Automatic scoring limits tasks to those with unambiguous answers, and published questions eventually reach training data anyway.

## Key terms

- PL: **data odcięcia wiedzy**: Data, po której model nie widział już żadnych danych treningowych.
- PL: **kontaminacja**: Obecność pytań testowych w danych, na których trenowano model.
- EN: **knowledge cutoff**: Date after which a model saw no training data.
- EN: **contamination**: Test questions appearing in a model's training data.

## Know first

- [Przeciek danych i nasycenie benchmarków (Benchmark contamination and saturation)](https://aiatlasgraph.com/t/benchcontamination.md)

## Sources

- [LiveBench: A Challenging, Contamination-Limited LLM Benchmark](<https://arxiv.org/abs/2406.19314>) `livebench-2024` · by Colin White, Samuel Dooley, Manley Roberts, Arka Pal, Ben Feuer, Siddhartha Jain, Ravid Shwartz-Ziv, Neel Jain, Khalid Saifullah i in. (18 autorów, ostatni Micah Goldblum)

---

AI Atlas revision 130 (2026-11-06) · HTML: https://aiatlasgraph.com/t/livebenchmarks · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-11-06