# Go-Explore: wróć do obiecującego miejsca, potem eksploruj

EN: **Go-Explore: return-then-explore** · id `goexplore` · aliases: Go-Explore, return then explore

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Uczenie ze wzmocnieniem i decyzje](https://aiatlasgraph.com/t/decisions.md) › [Strategie eksploracji w RL](https://aiatlasgraph.com/t/rlexploration.md) › Go-Explore: wróć do obiecującego miejsca, potem eksploruj

## Description

- PL: Rodzina algorytmów dla problemów trudnej eksploracji: archiwum odwiedzonych stanów, powrót do obiecujących i eksploracja z nich, a następnie uodpornianie znalezionych rozwiązań.
- EN: An algorithm family for hard-exploration problems: an archive of visited states, returning to promising ones and exploring from them, then robustifying the solutions found.

## In one sentence

- PL: Program zapisuje ciekawe miejsca, do których dotarł, wraca do nich i dopiero stamtąd sprawdza, co dalej.
- EN: The program records interesting places it reached, returns to them, and explores onward from there.

## Problem it solves

- PL: W zadaniach z mylącą lub bardzo rzadką nagrodą agent zapomina, jak dotarł daleko, i za każdym razem zaczyna od zera.
- EN: In tasks with misleading or very rare rewards, the agent forgets how it got far and restarts from scratch each time.

## What it does

- PL: Jak alpinista zakładający obozy: zamiast za każdym razem wchodzić od podnóża, startuje z najwyższego dotychczasowego obozu.
- EN: Like a climber setting up camps: instead of starting from the foot each time, they set off from the highest camp so far.

## Everyday example

- PL: Program testujący grę odnajduje kolejne poziomy, bo zapisuje każdy nowy pokój i z niego rusza dalej.
- EN: A game-testing program reaches later levels because it saves each new room and continues from it.

## This concerns you if you…

- PL: agent nie potrafi znaleźć odległego, rzadkiego sukcesu
- PL: masz symulator, który pozwala wrócić do zapisanego stanu
- EN: your agent cannot find a distant, rare success
- EN: have a simulator that lets you restore a saved state

## Keywords

cell archive · Montezuma's Revenge · Pitfall · policy-based Go-Explore · backward algorithm · hard-exploration benchmarks

## How it works

- PL: Faza pierwsza buduje archiwum „komórek” (uproszczonych reprezentacji stanów); wybiera obiecującą komórkę, wraca do niej, np. przywracając stan symulatora, i eksploruje losowo, dopisując nowe komórki. Faza druga zamienia znalezione trajektorie w odporną politykę przez uczenie z demonstracji, aby działała w środowisku z losowością.
- EN: Phase one builds an archive of cells (simplified state representations); it picks a promising cell, returns to it, e.g. by restoring simulator state, and explores randomly, adding new cells. Phase two turns found trajectories into a robust policy via learning from demonstrations so it works under stochasticity.

## Limits

- PL: Najprostsza wersja wymaga możliwości przywracania stanu symulatora, czego zwykle brak w świecie rzeczywistym. Wynik zależy od dobrego podziału stanów na komórki, czasem projektowanego z wiedzą dziedzinową.
- EN: The simplest version needs simulator state restoration, usually unavailable in the real world. Results depend on a good cell representation, sometimes designed with domain knowledge.

## Key terms

- PL: **archiwum**: Pamięć odwiedzonych stanów wraz z drogą do nich.
- PL: **odłączenie (detachment)**: Zapominanie przez agenta obiecujących obszarów, które już odkrył.
- PL: **uodpornianie**: Douczanie polityki, by rozwiązanie działało mimo losowości środowiska.
- EN: **archive**: A memory of visited states and how to reach them.
- EN: **detachment**: An agent forgetting promising areas it already discovered.
- EN: **robustification**: Further training so a solution works despite environment randomness.

## Know first

- [Proces decyzyjny Markowa (MDP) (Markov decision processes (MDP))](https://aiatlasgraph.com/t/mdp.md)
- [Klonowanie zachowań (behavioral cloning) (Behavioural cloning)](https://aiatlasgraph.com/t/behaviorcloning.md)

## Related topics

Untyped, symmetric "see also" links.

- [Poszukiwanie nowości (novelty search) (Novelty search)](https://aiatlasgraph.com/t/noveltysearch.md)
- [RL wspomagane demonstracjami (DQfD) (Reinforcement learning from demonstrations)](https://aiatlasgraph.com/t/rlfromdemos.md)

## Sources

- [Exploration in Deep Reinforcement Learning: A Survey](<https://arxiv.org/abs/2205.00824>) `exploration-drl-survey-2022` · by Pawel Ladosz; Lilian Weng; Minwoo Kim; Hyondong Oh
- [Go-Explore: a New Approach for Hard-Exploration Problems](<https://arxiv.org/abs/1901.10995>) `goexplore-2019` · by Adrien Ecoffet; Joost Huizinga; Joel Lehman; Kenneth O. Stanley; Jeff Clune

---

AI Atlas revision 128 (2026-11-04) · HTML: https://aiatlasgraph.com/t/goexplore · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-11-04