# Przeuczenie backtestu i walidacja strategii

EN: **Backtest overfitting and strategy validation** · id `backtestoverfitting` · aliases: backtest overfitting, probability of backtest overfitting, PBO, CSCV, przeuczenie backtestu

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [AI w finansach](https://aiatlasgraph.com/t/finance.md) › [Inwestowanie ilościowe i handel algorytmiczny](https://aiatlasgraph.com/t/quanttrading.md) › Przeuczenie backtestu i walidacja strategii

## Description

- PL: Metody wykrywania przeuczenia przy wielokrotnym testowaniu strategii, w tym prawdopodobieństwo przeuczenia backtestu (PBO) szacowane przez CSCV.
- EN: Methods for detecting overfitting when many strategies are tested, including the probability of backtest overfitting (PBO) estimated with CSCV.

## In one sentence

- PL: Sposoby, by odróżnić strategię inwestycyjną, która naprawdę działa, od takiej, która tylko przypadkiem dobrze wypadła na starych danych.
- EN: Ways to tell an investment strategy that really works from one that only looked good on old data by chance.

## Problem it solves

- PL: Po wypróbowaniu setek pomysłów któryś zawsze wygląda świetnie w historii, a potem traci pieniądze na prawdziwym rynku.
- EN: Try hundreds of ideas and one always looks great in history, then loses money in the real market.

## What it does

- PL: Jak rzucanie wieloma monetami: przy tysiącu monet któraś wypadnie orłem dziesięć razy z rzędu, choć niczym się nie wyróżnia.
- EN: Like tossing many coins: with a thousand coins, one will land heads ten times in a row though it is nothing special.

## Everyday example

- PL: Ktoś pokazuje na forum strategię z pięknym wykresem zysków z dziesięciu lat, ale nie mówi, ile innych wersji sprawdził, zanim ją znalazł.
- EN: Someone posts a strategy with a beautiful ten-year profit chart on a forum, but doesn't say how many other versions they tried first.

## This concerns you if you…

- PL: testujesz strategie na danych historycznych
- PL: oceniasz fundusz po jego wynikach z przeszłości
- EN: test strategies on historical data
- EN: judge a fund by its past performance

## Keywords

backtest overfitting · probability of backtest overfitting · PBO · CSCV · multiple testing

## How it works

- PL: Kombinatorycznie symetryczna walidacja krzyżowa (CSCV) dzieli zsynchronizowane wyniki wszystkich wypróbowanych strategii na pary połówek. W każdej kombinacji wybiera najlepszą strategię w próbie i sprawdza jej rangę poza próbą; odsetek przypadków, w których spada poniżej mediany, szacuje prawdopodobieństwo przeuczenia backtestu (PBO).
- EN: Combinatorially symmetric cross-validation (CSCV) splits the synchronised performance series of all tried strategies into paired halves. For each combination it selects the best in-sample strategy and checks its out-of-sample rank; the share of cases where it falls below the median estimates the probability of backtest overfitting (PBO).

## Limits

- PL: Metody wymagają zapisu wszystkich przetestowanych wariantów, czego badacze często nie robią. Szacunki zakładają, że przeszłość jest reprezentatywna dla przyszłości. Zwykły podział na trening i test bywa przy backtestach zawodny.
- EN: The methods need a record of every variant tested, which researchers often don't keep. Estimates assume the past represents the future. A plain train–test hold-out is often unreliable for backtests.

## Key terms

- PL: **PBO**: Prawdopodobieństwo, że wybrana najlepsza strategia jest przeuczona.
- PL: **wielokrotne testowanie**: Im więcej prób, tym łatwiej o przypadkowy sukces.
- PL: **CSCV**: Kombinatorycznie symetryczny podział wyników strategii na część w próbie i poza próbą.
- EN: **PBO**: Probability that the chosen best strategy is overfit.
- EN: **multiple testing**: The more trials, the easier a lucky success.
- EN: **CSCV**: A combinatorially symmetric split of strategy results into in-sample and out-of-sample parts.

## Know first

- [Walidacja krzyżowa (Cross-validation)](https://aiatlasgraph.com/t/crossval.md)
- [Rodzaje wycieku danych i ich wykrywanie (Types of data leakage and their detection)](https://aiatlasgraph.com/t/leakagetypes.md)

## Related topics

Untyped, symmetric "see also" links.

- [Rodzaje wycieku danych i ich wykrywanie (Types of data leakage and their detection)](https://aiatlasgraph.com/t/leakagetypes.md)
- [Zespoły agentów językowych podejmujące decyzje inwestycyjne (LLM multi-agent trading systems)](https://aiatlasgraph.com/t/llmtradingagents.md)

## Sources

- [The Probability of Backtest Overfitting](<https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2326253>) `bailey-pbo-2015` · by David H. Bailey, Jonathan M. Borwein, Marcos López de Prado, Qiji Jim Zhu

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/backtestoverfitting · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30