# Benchmarki programistyczne

EN: **Coding benchmarks** · id `codingbench` · aliases: SWE-bench, coding benchmarks, benchmarki kodowania

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Ewaluacja i interpretowalność](https://aiatlasgraph.com/t/evaluation.md) › [Metryki i benchmarki](https://aiatlasgraph.com/t/metrics.md) › [Benchmarki modeli językowych](https://aiatlasgraph.com/t/llmbenchmarks.md) › Benchmarki programistyczne

## Description

- PL: Zadania, w których model pisze lub naprawia kod, a wynik sprawdzają testy — od pojedynczych funkcji po prawdziwe zgłoszenia błędów w repozytoriach.
- EN: Tasks in which a model writes or fixes code and tests check the result — from single functions to real issues in repositories.

## In one sentence

- PL: To zadania sprawdzające, czy model potrafi napisać lub naprawić program, którego działanie przechodzi testy.
- EN: These tasks check whether a model can write or fix software that passes execution tests.

## Problem it solves

- PL: Program wyglądający poprawnie może nie działać, a umiejętność pisania małej funkcji nie wystarcza do naprawy większego projektu.
- EN: Code that looks correct may fail, and writing a small function is not enough to fix a larger project.

## What it does

- PL: Daje zadanie programistyczne, uruchamia wynik w kontrolowanym środowisku i sprawdza testami wymagane zachowania.
- EN: It provides a programming task, runs the result in a controlled environment and tests the required behaviour.

## Everyday example

- PL: Model naprawia błąd liczenia terminów w aplikacji, a zestaw testów sprawdza zwykłe daty i nietypowe granice miesiąca.
- EN: A model fixes deadline calculation in an application, and tests check ordinary dates and unusual month boundaries.

## This concerns you if you…

- PL: porównujesz modele piszące lub naprawiające programy
- PL: chcesz mierzyć działanie kodu zamiast jego wyglądu
- EN: compare models writing or fixing software
- EN: want to measure execution rather than code appearance

## Keywords

SWE-bench · HumanEval · MBPP · repository issue resolution · hidden unit tests

## How it works

- PL: Model otrzymuje specyfikację lub problem repozytorium i generuje kod albo poprawkę. Izolowane wykonanie testów sprawdza rezultat, zapisując konfigurację środowiska, dostępny kontekst i zasoby agenta.
- EN: A model receives a specification or repository issue and generates code or a patch. Isolated test execution checks results, recording environment settings, available context and agent resources.

## Limits

- PL: Przejście testów nie zapewnia poprawności poza ich pokryciem. Kontaminacja repozytoriów, zależności środowiska i różne budżety narzędzi mogą zmieniać wynik porównania.
- EN: Passing tests does not ensure correctness beyond their coverage. Repository contamination, environment dependencies and differing tool budgets can change comparisons.

## Key terms

- PL: **patch**: Zmiana kodu oceniana w kontekście istniejącego repozytorium.
- PL: **test ukryty**: Sprawdzenie niewidoczne dla modelu podczas przygotowywania rozwiązania.
- EN: **patch**: A code change evaluated in the context of an existing repository.
- EN: **hidden test**: A check unavailable to the model while it prepares a solution.

## Know first

- [Agenci kodujący (AI-assisted coding)](https://aiatlasgraph.com/t/aicoding.md)
- [Ewaluatory kodowe (Code-based evaluators)](https://aiatlasgraph.com/t/codeevals.md)

## Examples

- PL: SWE-bench · prawdziwe zgłoszenia błędów · zmiany w wielu plikach · walidacja testami
- EN: SWE-bench · real issue reports · multi-file changes · test-based validation

## Related topics

Untyped, symmetric "see also" links.

- [Agenci kodujący (AI-assisted coding)](https://aiatlasgraph.com/t/aicoding.md)
- [Podpowiadanie kodu w edytorze (Inline code completion (fill-in-the-middle))](https://aiatlasgraph.com/t/codecompletion.md)

## Sources

- [From LLM Reasoning to Autonomous AI Agents: A Comprehensive Review](<https://arxiv.org/abs/2504.19678>) `ferrag-llm-agents-review-2025` · by Mohamed Amine Ferrag, Norbert Tihanyi, Merouane Debbah
- [SWE-bench: Can Language Models Resolve Real-World GitHub Issues?](<https://arxiv.org/abs/2310.06770>) `swebench-2023` · by Carlos E. Jimenez, John Yang, Alexander Wettig, Shunyu Yao, Kexin Pei, Ofir Press, Karthik Narasimhan

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/codingbench · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30