# Meta-uczenie ze wzmocnieniem (meta-RL)

EN: **Meta-reinforcement learning** · id `metarl` · aliases: meta-reinforcement learning, meta-RL, learning to adapt

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Uczenie ze wzmocnieniem i decyzje](https://aiatlasgraph.com/t/decisions.md) › [Uogólnianie i adaptacja w RL](https://aiatlasgraph.com/t/rlgeneralization.md) › Meta-uczenie ze wzmocnieniem (meta-RL)

## Description

- PL: Meta-uczenie w RL: trening na rozkładzie zadań daje politykę lub algorytm, który adaptuje się do nowego zadania z niewielu interakcji.
- EN: Meta-learning applied to RL: training over a task distribution yields a policy or algorithm that adapts to a new task from few interactions.

## In one sentence

- PL: Agent ćwiczy na wielu podobnych zadaniach tak, żeby nowe zadanie z tej rodziny opanować po kilku próbach.
- EN: An agent practises on many similar tasks so that it masters a new one from the same family in a few tries.

## Problem it solves

- PL: Zwykłe uczenie ze wzmocnieniem potrzebuje ogromu prób na każde nowe zadanie, a w prawdziwym świecie próby są drogie.
- EN: Ordinary reinforcement learning needs huge numbers of trials for each new task, and real-world trials are expensive.

## What it does

- PL: Jak gracz, który zna wiele gier planszowych i nowe zasady łapie po dwóch rozgrywkach, bo wie, czego szukać.
- EN: Like someone who knows many board games and picks up new rules in two rounds, because they know what to look for.

## Everyday example

- PL: Ramię robota, które ćwiczyło otwieranie wielu różnych szuflad, po kilku próbach otwiera szufladę o nieznanym uchwycie.
- EN: A robot arm that practised opening many different drawers opens one with an unfamiliar handle after a few attempts.

## This concerns you if you…

- PL: masz wiele podobnych zadań i chcesz szybko opanowywać kolejne
- PL: każda próba w prawdziwym środowisku sporo kosztuje
- EN: you have many similar tasks and want to master new ones fast
- EN: each trial in the real environment is costly

## Keywords

MAML · RL² · VariBAD · PEARL · Meta-World · in-context RL · learned optimizers · few-shot adaptation

## How it works

- PL: W pętli zewnętrznej optymalizuje się wynik po adaptacji, w wewnętrznej agent uczy się danego zadania. Metody gradientowe (np. MAML) uczą dobrej inicjalizacji, metody kontekstowe (RL², VariBAD) kodują historię w stanie sieci rekurencyjnej lub w przekonaniu o zadaniu, a inne uczą całych reguł aktualizacji.
- EN: An outer loop optimises post-adaptation performance while an inner loop learns the given task. Gradient-based methods (e.g. MAML) learn a good initialisation, context-based ones (RL², VariBAD) encode history in a recurrent state or task belief, and others learn entire update rules.

## Limits

- PL: Wymaga zdefiniowanego rozkładu zadań; nowe zadanie spoza niego zwykle nie korzysta z meta-uczenia. Trening jest kosztowny i niestabilny, a metody kontekstowe słabo radzą sobie z długimi horyzontami adaptacji.
- EN: It needs a defined task distribution; tasks outside it rarely benefit. Training is costly and unstable, and context-based methods struggle with long adaptation horizons.

## Key terms

- PL: **pętla wewnętrzna**: Uczenie się jednego konkretnego zadania w trakcie meta-treningu.
- PL: **pętla zewnętrzna**: Poprawianie samego sposobu uczenia na wielu zadaniach.
- PL: **task inference**: Odgadywanie z doświadczeń, które zadanie z rodziny jest aktualne.
- EN: **inner loop**: Learning one specific task during meta-training.
- EN: **outer loop**: Improving the learning procedure itself across many tasks.
- EN: **task inference**: Inferring from experience which task in the family is active.

## Know first

- [Gradient polityki (REINFORCE) (Policy gradient methods (REINFORCE))](https://aiatlasgraph.com/t/policygradient.md)
- [Sieci rekurencyjne (RNN) (Recurrent neural networks (RNN))](https://aiatlasgraph.com/t/rnn.md)

## Sources

- [A Tutorial on Meta-Reinforcement Learning](<https://arxiv.org/abs/2301.08028>) `metarl-survey-2023` · by Jacob Beck; Risto Vuorio; Evan Zheran Liu; Zheng Xiong; Luisa Zintgraf; Chelsea Finn; Shimon Whiteson

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/metarl · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30