Uogólnianie i adaptacja w RL

Generalisation and adaptation in reinforcement learning · id rlgeneralization · aliases: generalization in RL, RL generalisation, adaptacja agentów RL, zero-shot generalization RL

Rodzina metod RL dotyczących przenoszenia polityk na nowe środowiska, szybkiej adaptacji do zadań i uczenia w warunkach niestacjonarnych.

A family of RL methods concerned with transferring policies to new environments, rapid task adaptation and learning under nonstationarity.

In one sentence

Chodzi o agentów, którzy radzą sobie w nowych sytuacjach, szybko się przystosowują i nie tracą zdolności do dalszej nauki.

This is about agents that cope with new situations, adapt quickly and keep the ability to learn further.

Problem it solves

Agent świetny na poziomach z treningu często gubi się na nowym poziomie, a po długiej nauce przestaje przyswajać nowe rzeczy.

An agent that excels on its training levels often gets lost on a new one, and after long training stops picking up new things.

What it does

Jak kierowca, który uczył się w wielu miastach i w różnych warunkach, więc w nowym mieście też sobie poradzi.

Like a driver who learned in many cities and conditions, so a new city poses no great problem.

Everyday example

Robot odkurzający, trenowany na wielu wygenerowanych układach mieszkań, sprawnie sprząta mieszkanie, którego nigdy nie widział.

A robot vacuum trained on many generated flat layouts cleans a flat it has never seen with ease.

This concerns you if you…

twój agent działa dobrze tylko na tym, na czym ćwiczył
zadanie zmienia się z czasem i agent musi nadążać
chcesz, by agent uczył się nowych zadań z kilku prób
your agent only works well on what it practised
your task changes over time and the agent must keep up
you want an agent to learn new tasks from few trials

Subtopics

Augmentacja obserwacji w RL z obrazu (Data augmentation for pixel-based reinforcement learning): Regularising RL from visual observations through random transformations of replay-buffer images, improving sample efficiency and robustness.
Automatyczne projektowanie środowisk treningowych (UED) (Unsupervised environment design for reinforcement learning): Methods that automatically generate or select environment configurations to form a curriculum that improves agent robustness and generalisation.
Ciągłe uczenie ze wzmocnieniem (Continual reinforcement learning): Reinforcement learning under nonstationarity without a fixed end of training, including the loss of plasticity in deep networks.
Meta-uczenie ze wzmocnieniem (meta-RL) (Meta-reinforcement learning): Meta-learning applied to RL: training over a task distribution yields a policy or algorithm that adapts to a new task from few interactions.

Sources

A Tutorial on Meta-Reinforcement Learning · Jacob Beck; Risto Vuorio; Evan Zheran Liu; Zheng Xiong; Luisa Zintgraf; Chelsea Finn; Shimon Whiteson
Emergent Complexity and Zero-shot Transfer via Unsupervised Environment Design · Michael Dennis; Natasha Jaques; Eugene Vinitsky; Alexandre Bayen; Stuart Russell; Andrew Critch; Sergey Levine
Towards Continual Reinforcement Learning: A Review and Perspectives · Khimya Khetarpal; Matthew Riemer; Irina Rish; Doina Precup