Hierarchiczne RL i opcje

Hierarchical reinforcement learning and options · id hierarchicalrl · aliases: hierarchical RL, HRL, options framework, option-critic, temporal abstraction, abstrakcja czasowa, makroakcje

Dzielenie zachowania na poziomy: polityka nadrzędna wybiera umiejętności trwające wiele kroków (opcje), a te same decydują o ruchach i o tym, kiedy się zakończyć.

Splitting behaviour into levels: a higher-level policy picks multi-step skills (options), which in turn choose low-level moves and when to stop.

In one sentence

To uczenie działania na dwóch poziomach: najpierw wybór większego kroku, potem drobne ruchy, które go wykonują.

This learns to act at two levels: first choosing a larger step, then the small moves that carry it out.

Problem it solves

Długie zadania składają się z setek drobnych ruchów, a decydowanie o każdym z osobna sprawia, że nauka trwa bardzo długo.

Long tasks are made of hundreds of small moves, and deciding each one separately makes learning very slow.

What it does

Jak przepis kulinarny: myślisz „zrób sos, ugotuj makaron”, a każdy z tych kroków sam rozkłada się na drobne czynności.

Like a recipe: you think "make the sauce, cook the pasta", and each of those steps breaks down into small actions on its own.

Everyday example

Postać w grze najpierw wybiera „idź do drzwi”, a dopiero potem uczy się, jak stawiać kroki i kiedy uznać, że już dotarła.

A game character first chooses "go to the door" and only then learns how to step and when to decide it has arrived.

This concerns you if you…

Examples

Related topics

Sources