# Odwrotne RL i imitacja adwersarialna (IRL, GAIL)

EN: **Inverse RL and adversarial imitation** · id `irl`

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Uczenie ze wzmocnieniem i decyzje](https://aiatlasgraph.com/t/decisions.md) › [Uczenie przez imitację](https://aiatlasgraph.com/t/imitation.md) › Odwrotne RL i imitacja adwersarialna (IRL, GAIL)

## Description

- PL: Zamiast kopiować akcje, odtwarza się cel (nagrodę), który wyjaśnia zachowanie eksperta, albo uczy politykę tak, by dyskryminator nie odróżnił jej od demonstracji.
- EN: Instead of copying actions, recover the goal (reward) that explains expert behaviour, or train a policy so a discriminator cannot tell it from the demonstrations.

## In one sentence

- PL: To uczenie działania przez odtwarzanie celu pokazów lub upodabnianie całego zachowania do demonstracji.
- EN: This learns actions by inferring demonstration goals or making overall behaviour resemble the demonstrations.

## Problem it solves

- PL: Samo kopiowanie pojedynczych ruchów nie wyjaśnia, jaki wynik człowiek chciał osiągnąć ani jak zachować podobny sposób działania.
- EN: Copying individual moves does not explain the person's intended outcome or how to retain a similar overall way of acting.

## What it does

- PL: Szuka oceny celu wyjaśniającej pokazy albo korzysta z wyuczonego porównania przebiegów programu z demonstracjami, żeby poprawiać zachowanie.
- EN: It seeks a goal score explaining demonstrations or uses a learned comparison between program sequences and demonstrations to improve behaviour.

## Everyday example

- PL: Robot obserwuje odkładanie przedmiotów i uczy się zachowania prowadzącego do podobnego uporządkowania, zamiast powtarzać dokładnie każdy gest.
- EN: A robot observes objects being put away and learns behaviour producing similar organisation rather than repeating every gesture exactly.

## This concerns you if you…

- PL: chcesz odtwarzać cel lub styl pokazanej pracy
- PL: masz demonstracje, ale trudno zapisać ocenę dobrego wyniku
- EN: want to infer a demonstrated goal or style
- EN: have demonstrations but find scoring success difficult

## Keywords

maximum-entropy IRL · GAIL · occupancy matching · reward identifiability · adversarial imitation

## How it works

- PL: Odwrotne uczenie poszukuje nagrody, dla której demonstracje eksperta są dobrym zachowaniem. Imitacja adwersarialna zamiast jawnej rekonstrukcji nagrody uczy politykę przeciw dyskryminatorowi odróżniającemu jej trajektorie od demonstracji.
- EN: Inverse learning seeks a reward under which expert demonstrations are good behaviour. Adversarial imitation instead trains a policy against a discriminator distinguishing its trajectories from demonstrations, without explicitly reconstructing rewards.

## Limits

- PL: Wiele funkcji nagrody wyjaśnia te same zachowania. Metody adwersarialne mogą być niestabilne, a dopasowanie rozkładu demonstracji nie gwarantuje odtworzenia intencji eksperta.
- EN: Many reward functions explain the same behaviour. Adversarial methods can be unstable, and matching demonstration distributions does not guarantee recovering expert intentions.

## Key terms

- PL: **identyfikowalność nagrody**: Możliwość jednoznacznego określenia celu na podstawie zaobserwowanych zachowań.
- PL: **miara zajętości**: Rozkład odwiedzanych stanów i działań indukowany przez politykę.
- EN: **reward identifiability**: Whether an objective can be uniquely determined from observed behaviour.
- EN: **occupancy measure**: The distribution of visited states and actions induced by a policy.

## Know first

- [Proces decyzyjny Markowa (MDP) (Markov decision processes (MDP))](https://aiatlasgraph.com/t/mdp.md)
- [Generatywne sieci przeciwstawne (GAN) (Generative adversarial networks (GAN))](https://aiatlasgraph.com/t/gan.md)

## Examples

- PL: Inverse RL · maximum-entropy IRL · GAIL

## Related topics

Untyped, symmetric "see also" links.

- [Modele nagrody (Reward models)](https://aiatlasgraph.com/t/rewardmodels.md)

## Sources

- [Generative Adversarial Imitation Learning](<https://arxiv.org/abs/1606.03476>) `gail-2016` · by J. Ho, S. Ermon

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/irl · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30