# Rzetelne porównywanie algorytmów optymalizacji (benchmarki)

EN: **Benchmarking evolutionary and black-box optimisers** · id `evobenchmarking` · aliases: benchmarking optimizers, black-box optimization benchmarking, porównywanie optymalizatorów, porównywanie metaheurystyk

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Obliczenia ewolucyjne i inteligencja roju](https://aiatlasgraph.com/t/evolutionary.md) › [Budowa algorytmu ewolucyjnego: reprezentacja, operatory, parametry](https://aiatlasgraph.com/t/evodesign.md) › Rzetelne porównywanie algorytmów optymalizacji (benchmarki)

## Description

- PL: Metodyka porównywania optymalizatorów czarnej skrzynki: znormalizowane zestawy funkcji, budżety ocen, miary czasu do celu i testy statystyczne.
- EN: Methodology for comparing black-box optimisers: standardised function suites, evaluation budgets, time-to-target measures and statistical tests.

## In one sentence

- PL: Uczciwe sprawdzanie, który algorytm optymalizacji naprawdę działa lepiej, na wspólnym zestawie zadań i według wspólnych zasad.
- EN: Fairly checking which optimisation algorithm really works better, on a shared set of tasks and by shared rules.

## Problem it solves

- PL: Każdy autor pokazuje swój algorytm na wybranych przez siebie zadaniach, więc wyniki trudno porównać i łatwo przecenić.
- EN: Each author shows their algorithm on tasks they picked themselves, so results are hard to compare and easy to overrate.

## What it does

- PL: Jak test zderzeniowy samochodów: wszystkie auta uderzają w tę samą ścianę z tą samą prędkością, więc oceny da się zestawić.
- EN: Like car crash tests: every car hits the same wall at the same speed, so the scores can be compared.

## Everyday example

- PL: Zespół wybiera optymalizator do strojenia linii produkcyjnej i najpierw puszcza trzy kandydaty na wspólnym zestawie trudnych funkcji testowych.
- EN: A team choosing an optimiser for tuning a production line first runs three candidates on a shared set of hard test functions.

## This concerns you if you…

- PL: wybierasz algorytm optymalizacji do realnego zadania
- PL: czytasz artykuł z wynikami nowej metody
- PL: porównujesz własny algorytm z innymi
- EN: you are choosing an optimiser for a real task
- EN: you read a paper with results for a new method
- EN: you compare your own algorithm against others

## Keywords

COCO · BBOB · CEC benchmark suites · IOHprofiler · Nevergrad · ECDF · expected running time · anytime performance · Wilcoxon test

## How it works

- PL: Platformy takie jak COCO definiują problem jako instancję funkcji testowej, cele jakościowe oraz czas działania mierzony liczbą wywołań funkcji potrzebną do osiągnięcia kolejnych celów. Wyniki porównuje się w tych samych budżetach, na wielu instancjach i wymiarach, zamiast opierać wniosek na jednym przebiegu lub jednym końcowym rankingu.
- EN: Platforms such as COCO define a problem as a test-function instance, quality targets and runtime measured by the number of function evaluations needed to reach successive targets. Results are compared under the same budgets across multiple instances and dimensions rather than inferred from a single run or final ranking.

## Limits

- PL: Funkcje testowe są sztuczne i mogą nie przypominać realnego problemu; algorytmy bywają nadmiernie dostrajane do znanych zestawów. Wyniki zależą od budżetu ocen i wymiaru, więc pojedynczy ranking myli.
- EN: Test functions are artificial and may not resemble the real problem; algorithms get over-tuned to known suites. Results depend on evaluation budget and dimension, so a single ranking misleads.

## Key terms

- PL: **budżet ocen**: Ile razy wolno policzyć funkcję celu.
- PL: **ECDF**: Wykres, jaki odsetek zadań rozwiązano po danej liczbie ocen.
- PL: **instancja funkcji**: Wersja funkcji testowej przesunięta lub obrócona, by uniknąć sztuczek.
- EN: **evaluation budget**: How many times the objective may be computed.
- EN: **ECDF**: A plot of the share of tasks solved after a number of evaluations.
- EN: **function instance**: A shifted or rotated test function variant to prevent tricks.

## Know first

- [Niepewność statystyczna wyników ewaluacji (Statistical uncertainty in evaluations)](https://aiatlasgraph.com/t/evalstats.md)
- [Brak darmowego obiadu i założenia wstępne modelu (No free lunch theorem and inductive bias)](https://aiatlasgraph.com/t/nofreelunch.md)

## Subtopics (1 direct, 1 in total)

- [Krytyka „nowych” metaheurystyk opartych na metaforach (Critique of metaphor-based metaheuristics)](https://aiatlasgraph.com/t/metaphorcritique.md): A methodological strand showing many metaphor-based metaheuristics are renamed known techniques, and calling for description in standard optimisation terms.

## Sources

- [COCO: A Platform for Comparing Continuous Optimizers in a Black-Box Setting](<https://arxiv.org/abs/1603.08785>) `hansen-coco-2016` · by Nikolaus Hansen, Anne Auger, Raymond Ros, Olaf Mersmann, Tea Tušar, Dimo Brockhoff

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/evobenchmarking · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30