# Automatyczne projektowanie środowisk treningowych (UED)

EN: **Unsupervised environment design for reinforcement learning** · id `ued` · aliases: UED, unsupervised environment design, environment design for RL

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Uczenie ze wzmocnieniem i decyzje](https://aiatlasgraph.com/t/decisions.md) › [Uogólnianie i adaptacja w RL](https://aiatlasgraph.com/t/rlgeneralization.md) › Automatyczne projektowanie środowisk treningowych (UED)

## Description

- PL: Metody automatycznie generujące lub wybierające konfiguracje środowiska tak, by tworzyły program nauczania poprawiający odporność i uogólnianie agenta.
- EN: Methods that automatically generate or select environment configurations to form a curriculum that improves agent robustness and generalisation.

## In one sentence

- PL: Program sam dobiera i tworzy poziomy treningowe, ani za łatwe, ani za trudne, żeby agent ciągle się rozwijał.
- EN: A program picks and builds training levels on its own, neither too easy nor too hard, so the agent keeps improving.

## Problem it solves

- PL: Ręczne projektowanie setek poziomów treningowych zajmuje mnóstwo czasu, a losowe poziomy bywają nudne albo niemożliwe do przejścia.
- EN: Designing hundreds of training levels by hand takes ages, and random levels are often dull or impossible to finish.

## What it does

- PL: Jak trener, który co tydzień ustawia poprzeczkę trochę wyżej, dokładnie tam, gdzie zawodnik zaczyna mieć trudności.
- EN: Like a coach who raises the bar a little each week, right where the athlete starts to struggle.

## Everyday example

- PL: Wirtualny robot uczy się chodzić, a generator terenów stopniowo dokłada mu schody, dziury i śliskie podłoża.
- EN: A virtual robot learns to walk while a terrain generator gradually adds stairs, gaps and slippery ground.

## This concerns you if you…

- PL: masz symulator z ustawialnymi parametrami świata
- PL: chcesz agenta odpornego na sytuacje spoza treningu
- EN: you have a simulator with adjustable world parameters
- EN: you want an agent robust to situations beyond training

## Keywords

PAIRED · Prioritized Level Replay · ACCEL · POET · minimax regret · domain randomization · JaxUED · MiniGrid

## How it works

- PL: Projektant określa przestrzeń parametrów środowiska. Nauczyciel wybiera poziomy o wysokim potencjale uczenia: w PAIRED przybliżony żal jest różnicą zwrotów antagonisty i protagonisty, a Prioritized Level Replay używa sygnału opartego na błędzie wartości. Powstaje samoczynny program nauczania o rosnącej złożoności.
- EN: A designer specifies an environment parameter space. A teacher selects levels with high learning potential: in PAIRED approximate regret is the return gap between an antagonist and a protagonist, while Prioritized Level Replay uses a value-error-based signal. The result is an emergent curriculum of growing complexity.

## Limits

- PL: Potrzebny jest sparametryzowany symulator. Szacunki żalu są przybliżone, generator może utknąć na wąskim typie poziomów, a wyniki pokazywano głównie w prostych światach siatkowych i ciągłej lokomocji.
- EN: It needs a parameterised simulator. Regret estimates are approximate, the generator can fixate on a narrow level type, and results were shown mainly in simple grid worlds and continuous locomotion.

## Key terms

- PL: **regret**: Różnica wyniku agenta odniesienia i aktualnego agenta na danym poziomie; w praktyce jest szacowana.
- PL: **curriculum**: Uporządkowana kolejność zadań od łatwiejszych do trudniejszych.
- PL: **domain randomization**: Losowanie parametrów świata bez dopasowania trudności do ucznia.
- EN: **regret**: The return gap between a reference agent and the current agent on a level; in practice it is estimated.
- EN: **curriculum**: An ordered sequence of tasks from easier to harder.
- EN: **domain randomization**: Randomising world parameters without matching difficulty to the learner.

## Know first

- [Środowiska i symulatory do RL (RL environments and simulators)](https://aiatlasgraph.com/t/rlenvs.md)
- [Kolejność danych i uczenie z programem nauczania (curriculum learning) (Data ordering and curriculum learning)](https://aiatlasgraph.com/t/datacurriculum.md)

## Related topics

Untyped, symmetric "see also" links.

- [Systemy otwarte (open-endedness) (Open-ended learning systems)](https://aiatlasgraph.com/t/openendedness.md)

## Sources

- [Emergent Complexity and Zero-shot Transfer via Unsupervised Environment Design](<https://arxiv.org/abs/2012.02096>) `paired-ued-2020` · by Michael Dennis; Natasha Jaques; Eugene Vinitsky; Alexandre Bayen; Stuart Russell; Andrew Critch; Sergey Levine
- [Prioritized Level Replay](<https://arxiv.org/abs/2010.03934>) `plr-2020` · by Minqi Jiang; Edward Grefenstette; Tim Rocktäschel

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/ued · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30