Go-Explore: wróć do obiecującego miejsca, potem eksploruj

Go-Explore: return-then-explore · id goexplore · aliases: Go-Explore, return then explore

Rodzina algorytmów dla problemów trudnej eksploracji: archiwum odwiedzonych stanów, powrót do obiecujących i eksploracja z nich, a następnie uodpornianie znalezionych rozwiązań.

An algorithm family for hard-exploration problems: an archive of visited states, returning to promising ones and exploring from them, then robustifying the solutions found.

In one sentence

Program zapisuje ciekawe miejsca, do których dotarł, wraca do nich i dopiero stamtąd sprawdza, co dalej.

The program records interesting places it reached, returns to them, and explores onward from there.

Problem it solves

W zadaniach z mylącą lub bardzo rzadką nagrodą agent zapomina, jak dotarł daleko, i za każdym razem zaczyna od zera.

In tasks with misleading or very rare rewards, the agent forgets how it got far and restarts from scratch each time.

What it does

Jak alpinista zakładający obozy: zamiast za każdym razem wchodzić od podnóża, startuje z najwyższego dotychczasowego obozu.

Like a climber setting up camps: instead of starting from the foot each time, they set off from the highest camp so far.

Everyday example

Program testujący grę odnajduje kolejne poziomy, bo zapisuje każdy nowy pokój i z niego rusza dalej.

A game-testing program reaches later levels because it saves each new room and continues from it.

This concerns you if you…

Related topics

Sources