Benchmarki regularnie zasilane nowymi pytaniami z niedawnych źródeł (konkursy, publikacje, wiadomości), oceniane automatycznie względem odpowiedzi wzorcowych.
Benchmarks regularly fed with new questions from recent sources (contests, papers, news), scored automatically against ground-truth answers.
Testy dla AI, do których regularnie dokłada się świeże pytania, żeby model nie mógł ich wcześniej zobaczyć.
Tests for AI that regularly get fresh questions, so a model cannot have seen them before.
Pytania ze starych testów trafiają do internetu i danych treningowych, więc wysoki wynik może oznaczać pamięć zamiast umiejętności.
Old test questions leak into the internet and training data, so a high score may reflect memory rather than skill.
Jak egzamin, który co miesiąc ma nowe zadania z bieżących wydarzeń, więc nie da się go zdać z kluczem odpowiedzi.
Like an exam with new tasks from current events every month, so an answer key from last time does not help.
Porównujesz dwa modele na zadaniach matematycznych z konkursu sprzed kilku tygodni, opublikowanego już po ich treningu.
You compare two models on maths problems from a contest held a few weeks ago, published after their training ended.