Jedna polityka uczona dla wielu celów naraz, z celem podawanym jako dodatkowe wejście. Odtwarzanie z perspektywy czasu przepisuje nieudane próby tak, jakby celem było to, co faktycznie osiągnięto, co pozwala uczyć się przy nagrodzie tylko za sukces.
One policy trained for many goals at once, with the goal given as an extra input. Hindsight replay relabels failed attempts as if the goal had been whatever was actually reached, enabling learning from success-only rewards.
To uczenie jednego programu wielu celów naraz, także na próbach, które nie trafiły tam, gdzie miały.
This teaches one program many goals at once, including from attempts that missed where they were aimed.
Gdy punkt jest tylko za pełny sukces, początkujący program prawie nigdy go nie zdobywa i nie ma z czego się uczyć.
When points come only for full success, a beginner program almost never earns them and has nothing to learn from.
Jak rzut lotką obok tarczy: zamiast uznać go za porażkę, zapamiętujesz, jak trafić dokładnie w to miejsce, gdzie lotka wbiła się w ścianę.
Like a dart that misses the board: instead of writing it off, you remember how to hit exactly the spot where it landed on the wall.
Ramię robota ma przesunąć kubek na zaznaczone miejsce; gdy przesunie go gdzie indziej, ta próba i tak uczy, jak dostawić kubek właśnie tam.
A robot arm must push a mug to a marked spot; when it pushes it somewhere else, that attempt still teaches how to place the mug right there.