# Zbiory testowe i regresje EN: **Evaluation datasets and regression tests** · id `evalsets` Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Ewaluacja i interpretowalność](https://aiatlasgraph.com/t/evaluation.md) › Zbiory testowe i regresje ## Description - PL: Powtarzalne sprawdzanie zachowania po zmianach. - EN: Repeatable checks on behaviour after changes. ## In one sentence - PL: To zestawy przykładów pozwalające sprawdzać, czy zmiany poprawiają model i nie psują wcześniejszych umiejętności. - EN: These example sets check whether changes improve a model without breaking earlier capabilities. ## Problem it solves - PL: Nowa instrukcja lub model może naprawić jeden błąd, a przy okazji zepsuć zadania, które wcześniej działały. - EN: A new instruction or model may fix one error while breaking tasks that previously worked. ## What it does - PL: Uruchamia te same reprezentatywne i trudne przypadki po zmianach, porównując wyniki z wymaganiami oraz poprzednią wersją. - EN: It reruns representative and difficult cases after changes, comparing results with requirements and the previous version. ## Everyday example - PL: Po zmianie asystenta sprawdzasz zapisane pytania o zwroty, żeby poprawiona odpowiedź nie zepsuła obsługi wyjątkowych terminów. - EN: After changing an assistant, you rerun saved returns questions to ensure the improved response has not broken handling of unusual deadlines. ## This concerns you if you… - PL: często zmieniasz model lub jego instrukcje - PL: chcesz zachować działanie wcześniej poprawionych przypadków - EN: often change a model or its instructions - EN: want previously fixed cases to keep working ## Keywords golden datasets · test cases · CI evaluation · versioned datasets · held-out evaluation · behavioral assertions ## How it works - PL: Wersjonowane przypadki definiują wejścia, kontekst i oczekiwane zachowanie systemu. Ta sama procedura wykonania oraz oceny porównuje kolejne wersje, wykrywając zmiany wyników i konkretne regresje. - EN: Versioned cases define inputs, context and expected system behaviour. A shared execution and scoring procedure compares versions, detecting outcome changes and specific regressions. ## Limits - PL: Zbiór może przestać reprezentować rzeczywiste użycie. Wielokrotne strojenie pod te same przypadki grozi przeuczeniem, więc potrzebne są nowe próbki i oddzielny test końcowy. - EN: A dataset can stop representing actual usage. Repeated tuning against the same cases risks overfitting, requiring fresh samples and a separate final test. ## Key terms - PL: **test regresyjny**: Przypadek sprawdzający, czy wcześniej poprawne zachowanie nadal działa. - PL: **przypadek testowy**: Wejście, warunki i kryterium oczekiwanego wyniku jednej próby. - EN: **regression test**: A case checking whether previously correct behaviour still works. - EN: **test case**: The input, conditions and expected-outcome criterion for one trial. ## Know first - [Podziały i wyciek danych (Data splits and leakage)](https://aiatlasgraph.com/t/splits.md) - [Testy statystyczne i przedziały ufności (Hypothesis tests and confidence intervals)](https://aiatlasgraph.com/t/hypothesistesting.md) ## Examples - PL: Test cases · golden sets · ewaluacje w CI - EN: Test cases · golden sets · CI evals ## Subtopics (3 direct, 3 in total) - [Ewaluacja agentów zgodna z przepływem zadań (Task-flow aligned agent evaluation)](https://aiatlasgraph.com/t/taskfloweval.md): Method turns issue-derived tasks into multi-turn interactions matching measured user task flows. - [Frameworki do uruchamiania ewaluacji (Evaluation harnesses and frameworks)](https://aiatlasgraph.com/t/evalharness.md): Tools that run test sets against a model or agent repeatably — with the same prompts, settings, sandbox and logs — so results can be compared and reproduced. - [Syntetyczne przypadki testowe z wymiarów zapytań (Synthetic test case generation for evals)](https://aiatlasgraph.com/t/synthevalcases.md): Building eval sets from query variation dimensions, value tuples and a separate conversion step into natural language. ## Related topics Untyped, symmetric "see also" links. - [Koszt, jakość i opóźnienie (Cost, quality and latency trade-offs)](https://aiatlasgraph.com/t/economics.md) - [Programowa optymalizacja promptów (Programmatic prompt optimisation)](https://aiatlasgraph.com/t/promptopt.md) - [Prompty i kontekst (Prompting and context engineering)](https://aiatlasgraph.com/t/prompting.md) - [Prototypowanie funkcji AI (proof of concept) (AI feature prototyping)](https://aiatlasgraph.com/t/aiprototyping.md) - [Przetwarzanie wsadowe (batch) zamiast na żywo (Batch (asynchronous) inference)](https://aiatlasgraph.com/t/batchprocessing.md) - [Structured outputs i walidacja (Structured outputs and validation)](https://aiatlasgraph.com/t/structured.md) - [Syntetyczne środowiska komputerowe do treningu (Synthetic computer-use environments for agent training)](https://aiatlasgraph.com/t/softwaregym.md) - [Testy A/B funkcji AI (A/B testing AI features)](https://aiatlasgraph.com/t/abtesting.md) - [Wersjonowanie i rejestr promptów (Prompt management and versioning)](https://aiatlasgraph.com/t/promptversioning.md) ## Sources - [Full Stack Deep Learning (2022, archiwum)]() `fsdl` · reference: Pełny cykl systemu ML: dane, testy, wdrażanie, monitoring, zespoły i etyka. - [Hugging Face · Agents Course]() `agents` · reference: Agenci, narzędzia, frameworki, agentic RAG i ewaluacja. - [Stanford CS229 · Machine Learning (2018, archiwum)]() `cs229` · reference: Klasyczne ML, statystyka i podstawy uczenia. Użyte jako stabilny szkielet, nie przegląd nowości. - [AI Evals: Everything You Need to Know]() `hamel-evals-faq` · by Hamel Husain, Shreya Shankar - [Anthropic Courses · Prompt evaluations]() `anthropic-prompt-evals` · by Anthropic --- AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/evalsets · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30