Eksploracja przez próbkowanie hipotez (posterior sampling)

Posterior sampling and randomised value functions · id posteriorsampling · aliases: posterior sampling for RL, PSRL, Thompson sampling in RL, randomized value functions, próbkowanie Thompsona

Próbkowanie Thompsona w RL: agent losuje model lub funkcję wartości z rozkładu a posteriori i działa według niej przez cały epizod.

Thompson sampling for RL: the agent samples a model or value function from the posterior and acts greedily on it for a whole episode.

In one sentence

Program trzyma kilka różnych przypuszczeń o świecie i przez cały epizod działa według jednego, wylosowanego z nich.

The program keeps several guesses about the world and acts on one randomly chosen guess for a whole episode.

Problem it solves

Losowe pojedyncze ruchy nie wystarczą, gdy żeby coś odkryć, trzeba konsekwentnie iść w jednym kierunku przez wiele kroków.

Random single moves are not enough when discovery requires heading one way consistently for many steps.

What it does

Jak detektyw, który przez cały dzień sprawdza jedną teorię do końca, a jutro inną, zamiast skakać między nimi co chwilę.

Like a detective who follows one theory all day to the end, and another tomorrow, instead of hopping between them.

Everyday example

Asystent zakupowy przez tydzień konsekwentnie testuje jedną hipotezę o twoich gustach, a potem zmienia ją, jeśli się nie sprawdza.

A shopping assistant tests one hypothesis about your tastes all week, then switches if it does not hold.

This concerns you if you…

Sources