Ocena polityki off-policy (OPE)

Off-policy evaluation (OPE) · id ope · aliases: off-policy evaluation, OPE, off-policy value evaluation, ocena off-policy, importance sampling estimators, doubly robust estimator, estymator podwójnie odporny

Szacowanie, jak dobra byłaby nowa polityka, wyłącznie z danych zebranych przez inną politykę, bez jej uruchamiania. Często krytyczny krok przed wdrożeniem RL w realnych systemach.

Estimating how good a new policy would be using only data collected by a different policy, without running it. Often a critical step before deploying RL in real systems.

In one sentence

To sprawdzanie, jak sprawdziłby się nowy sposób działania, na podstawie starych zapisów, zanim go uruchomisz.

This checks how a new way of acting would perform, using old records, before you switch it on.

Problem it solves

Uruchomienie niesprawdzonej strategii na prawdziwych ludziach lub pieniądzach jest ryzykowne, a dane masz tylko z obecnego sposobu działania.

Running an untested strategy on real people or money is risky, and you only have data from how things are done today.

What it does

Jak ocena nowej trasy autobusu z danych o dotychczasowych przejazdach: przeważasz kursy podobne do nowej trasy, zamiast od razu zmieniać rozkład.

Like judging a new bus route from records of past trips: you give more weight to journeys resembling the new route instead of changing the timetable straight away.

Everyday example

Sklep internetowy ma zapis, jakie rabaty pokazywał klientom; zanim wprowadzi nowy sposób ich doboru, szacuje jego wynik z tych zapisów.

An online shop has records of which discounts it showed customers; before introducing a new way to choose them, it estimates the result from those records.

This concerns you if you…

Examples

Related topics

Sources