Double Q-learning: ograniczanie zawyżania wartości

Double Q-learning and overestimation bias · id doubleq · aliases: Double DQN, DDQN, double Q-learning

Rozdzielenie wyboru akcji i oceny jej wartości w celu Bellmana, zmniejszające systematyczne przeszacowanie wartości Q wynikające z maksymalizacji po zaszumionych estymatach.

Decoupling action selection from action evaluation in the Bellman target, reducing the systematic Q overestimation caused by maximising over noisy estimates.

In one sentence

Poprawka, dzięki której program nie przecenia ruchów tylko dlatego, że miał przy nich szczęście w ocenie.

A fix that stops a program from overrating moves just because their estimates got lucky.

Problem it solves

Program wybierający zawsze najwyżej ocenianą opcję systematycznie bierze przypadkowo zawyżone oceny za prawdziwe i uczy się złych nawyków.

A program always choosing the top-scored option keeps mistaking lucky overestimates for truth and learns bad habits.

What it does

Jak konkurs z dwiema listami ocen: jedna wskazuje finalistę, a druga osobno wycenia jego wynik, więc przypadkowo wysoka nota rzadziej zawyża całość.

Like a contest with two score sheets: one selects the finalist and the other separately evaluates the result, so a lucky high score is less likely to inflate the total.

Everyday example

Agent grający w grę przestaje upierać się przy ruchu, który kilka razy przypadkiem dał dużo punktów.

A game-playing agent stops insisting on a move that happened to score big a few times.

This concerns you if you…

Related topics

Sources