Zbiory testowe i regresje

Evaluation datasets and regression tests · id evalsets

Powtarzalne sprawdzanie zachowania po zmianach.

Repeatable checks on behaviour after changes.

In one sentence

To zestawy przykładów pozwalające sprawdzać, czy zmiany poprawiają model i nie psują wcześniejszych umiejętności.

These example sets check whether changes improve a model without breaking earlier capabilities.

Problem it solves

Nowa instrukcja lub model może naprawić jeden błąd, a przy okazji zepsuć zadania, które wcześniej działały.

A new instruction or model may fix one error while breaking tasks that previously worked.

What it does

Uruchamia te same reprezentatywne i trudne przypadki po zmianach, porównując wyniki z wymaganiami oraz poprzednią wersją.

It reruns representative and difficult cases after changes, comparing results with requirements and the previous version.

Everyday example

Po zmianie asystenta sprawdzasz zapisane pytania o zwroty, żeby poprawiona odpowiedź nie zepsuła obsługi wyjątkowych terminów.

After changing an assistant, you rerun saved returns questions to ensure the improved response has not broken handling of unusual deadlines.

This concerns you if you…

Examples

Subtopics

Related topics

Sources