Backtesting prognoz i walidacja w czasie

Forecast backtesting and time-series cross-validation · id tsbacktesting · aliases: rolling-origin evaluation, time-series cross-validation, walk-forward validation

Ocena prognoz na wielu kolejnych punktach startowych (rolling origin) z miarami błędu dobranymi do skali danych i horyzontu.

Evaluating forecasts over many successive starting points (rolling origin) with error measures suited to data scale and horizon.

In one sentence

Sprawdzanie prognozy tak, jakby robiono ją wielokrotnie w przeszłości, za każdym razem tylko na danych dostępnych w tamtym momencie.

Testing a forecast as if it had been made many times in the past, each time using only data available at that moment.

Problem it solves

Model wyglądał świetnie w testach, a po wdrożeniu się myli, bo podejrzał przyszłość albo sprawdzono go tylko raz.

A model looked great in testing but errs after launch, because it peeked at the future or was checked only once.

What it does

Przesuwa punkt startu krok po kroku, za każdym razem prognozuje to, co było dalej, i uśrednia trafność osobno dla każdego horyzontu.

It moves the starting point step by step, each time forecasting what came next, and averages accuracy separately for each horizon.

Everyday example

Zanim firma zmieni sposób planowania grafików, sprawdza, jak nowa prognoza poradziłaby sobie w każdym z ostatnich dwunastu miesięcy.

Before changing how it plans staff rotas, a company checks how a new forecast would have done in each of the last twelve months.

This concerns you if you…

Sources