# Ewaluatory kodowe

EN: **Code-based evaluators** · id `codeevals`

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Ewaluacja i interpretowalność](https://aiatlasgraph.com/t/evaluation.md) › Ewaluatory kodowe

## Description

- PL: Deterministyczne sprawdzenie w kodzie, gdy błąd da się opisać regułą. Najtańszy szczebel ewaluacji — przed sędzią LLM.
- EN: A deterministic check in code when a failure can be described by a rule. The cheapest rung of evaluation — before an LLM judge.

## In one sentence

- PL: To automatyczne sprawdzanie wyniku za pomocą jasno zapisanych reguł w programie.
- EN: This automatically checks a result using clearly defined software rules.

## Problem it solves

- PL: Niektóre błędy można sprawdzić jednoznacznie, więc ręczna ocena każdej odpowiedzi niepotrzebnie zabiera czas.
- EN: Some errors can be checked unambiguously, making manual assessment of every answer unnecessarily time consuming.

## What it does

- PL: Sprawdza wymagany zapis, wartości, argumenty działania lub stan po jego wykonaniu i oznacza, które warunki wynik spełnia.
- EN: It checks required structure, values, action arguments or the resulting state and reports which conditions are satisfied.

## Everyday example

- PL: Program sprawdza, czy z faktury wyciągnięto wymagane pola i czy suma pozycji zgadza się z podanym wynikiem.
- EN: Software checks whether required invoice fields were extracted and whether the item total matches the reported result.

## This concerns you if you…

- PL: potrafisz opisać błąd jako jednoznaczny warunek
- PL: chcesz powtarzalnie sprawdzać wiele wyników
- EN: can describe an error as an unambiguous condition
- EN: want repeatable checks across many results

## Keywords

exact match · assertions · regular expressions · JSON parsing · tool argument validation · state-based checks

## How it works

- PL: Kod sprawdza warunki takie jak schemat, wynik obliczenia lub przejście testu. Rezultat zamienia się na ocenę i zapis diagnostyczny, stosując te same reguły do każdej próby.
- EN: Code checks conditions such as schema validity, calculation results or passing tests. Outcomes become scores and diagnostic records, applying the same rules to each trial.

## Limits

- PL: Deterministyczna reguła mierzy tylko to, co zapisano w kodzie. Błędne testy i brak pokrycia pozwalają zaliczyć odpowiedź mimo niespełnionego celu.
- EN: A deterministic rule measures only what the code specifies. Faulty tests and missing coverage can accept answers that fail the actual objective.

## Key terms

- PL: **asercja**: Warunek, którego niespełnienie oznacza błąd testu.
- PL: **oracle testowy**: Źródło oczekiwanego wyniku używane do oceny odpowiedzi.
- EN: **assertion**: A condition whose failure makes a test fail.
- EN: **test oracle**: A source of expected results used to assess an answer.

## Know first

- [Logika i reprezentacja wiedzy (Logic and knowledge representation)](https://aiatlasgraph.com/t/logic.md)

## Examples

- PL: dokładne dopasowanie · asercje · regex · parsowanie JSON · argumenty wywołania narzędzia · stan bazy po akcji
- EN: exact match · assertions · regex · JSON parsing · tool-call arguments · database state after an action

## Subtopics (2 direct, 2 in total)

- [Asercje deterministyczne: format, schemat, dopasowanie tekstu (Deterministic assertions: format, schema and string checks)](https://aiatlasgraph.com/t/assertionchecks.md): Code graders that check outputs with rules: exact or regex match, schema validation, length and keyword presence.
- [Ocena przez uruchomienie testów (poprawność funkcjonalna) (Execution-based grading with unit tests)](https://aiatlasgraph.com/t/executiongrading.md): Grading generated code by executing it in a sandbox against unit or integration tests.

## Related topics

Untyped, symmetric "see also" links.

- [Guardrails (Guardrails and output control)](https://aiatlasgraph.com/t/guardrails.md)
- [Sprawdzanie końcowego wyniku (Outcome verification)](https://aiatlasgraph.com/t/outcomeverify.md)
- [Structured outputs i walidacja (Structured outputs and validation)](https://aiatlasgraph.com/t/structured.md)
- [Wzbogacanie próbek (Sample enhancement)](https://aiatlasgraph.com/t/dataenhance.md)

## Sources

- [AI Evals: Everything You Need to Know](<https://hamel.dev/blog/posts/evals-faq/>) `hamel-evals-faq` · by Hamel Husain, Shreya Shankar
- [Anthropic Courses · Prompt evaluations](<https://github.com/anthropics/courses/tree/master/prompt_evaluations>) `anthropic-prompt-evals` · by Anthropic

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/codeevals · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30