Benchmarki programistyczne

Coding benchmarks · id codingbench · aliases: SWE-bench, coding benchmarks, benchmarki kodowania

Zadania, w których model pisze lub naprawia kod, a wynik sprawdzają testy — od pojedynczych funkcji po prawdziwe zgłoszenia błędów w repozytoriach.

Tasks in which a model writes or fixes code and tests check the result — from single functions to real issues in repositories.

In one sentence

To zadania sprawdzające, czy model potrafi napisać lub naprawić program, którego działanie przechodzi testy.

These tasks check whether a model can write or fix software that passes execution tests.

Problem it solves

Program wyglądający poprawnie może nie działać, a umiejętność pisania małej funkcji nie wystarcza do naprawy większego projektu.

Code that looks correct may fail, and writing a small function is not enough to fix a larger project.

What it does

Daje zadanie programistyczne, uruchamia wynik w kontrolowanym środowisku i sprawdza testami wymagane zachowania.

It provides a programming task, runs the result in a controlled environment and tests the required behaviour.

Everyday example

Model naprawia błąd liczenia terminów w aplikacji, a zestaw testów sprawdza zwykłe daty i nietypowe granice miesiąca.

A model fixes deadline calculation in an application, and tests check ordinary dates and unusual month boundaries.

This concerns you if you…

Examples

Related topics

Sources