„Śmiertelna triada” w RL

The deadly triad in reinforcement learning · id deadlytriad · aliases: deadly triad, śmiertelna triada, zabójcza triada

Uogólnianie funkcji wartości przez aproksymatory oraz niestabilność wynikająca z połączenia aproksymacji, bootstrappingu i uczenia off-policy.

Generalising value functions with approximators, and the instability arising from combining approximation, bootstrapping and off-policy learning.

In one sentence

Gdy oceny sytuacji liczy aproksymator, pewne połączenie sposobów uczenia może sprawić, że oceny wymkną się spod kontroli.

When an approximator computes situation scores, a certain mix of learning mechanisms can make those scores spiral out of control.

Problem it solves

Agent uczący się skrótami bywa nieprzewidywalny: trening nagle się sypie, a powodu nie widać na pierwszy rzut oka.

An agent learning through shortcuts can be unpredictable: training suddenly collapses and the cause isn't obvious.

What it does

Wskazuje trzy składniki, które osobno pomagają, a razem mogą się wzajemnie napędzać jak sprzężenie mikrofonu z głośnikiem.

It names three ingredients that help on their own but together can feed each other like microphone feedback.

Everyday example

Podczas trenowania agenta do gier oceny ruchów nagle rosną do absurdalnych wartości, a wyniki gry spadają do zera.

While training a game agent, move scores suddenly climb to absurd values and game results drop to zero.

This concerns you if you…

Related topics

Sources