Bufor doświadczeń i priorytetowe odtwarzanie

Experience replay and prioritised replay · id experiencereplay · aliases: experience replay, replay buffer, prioritized experience replay, PER, bufor powtórek

Mechanizm przechowywania przejść do wielokrotnego uczenia off-policy; wersja priorytetowa częściej odtwarza bardziej pouczające doświadczenia.

A mechanism that stores transitions for repeated off-policy learning; prioritised replay samples more informative experiences more often.

In one sentence

Agent zapisuje swoje dawne próby i wielokrotnie się na nich uczy, częściej wracając do tych najbardziej pouczających.

An agent stores its past attempts and learns from them repeatedly, returning more often to the most instructive ones.

Problem it solves

Każda próba w środowisku kosztuje, a uczenie tylko na najnowszych, podobnych do siebie chwilach jest niestabilne i marnotrawne.

Every trial in the environment costs something, and learning only from the latest, similar moments is unstable and wasteful.

What it does

Jak uczeń, który przegląda zeszyt błędów i najczęściej powtarza zadania, które najbardziej go zaskoczyły.

Like a student reviewing a mistakes notebook, most often redoing the problems that surprised them most.

Everyday example

Program uczący się gier wideo wraca do zapisanych chwil tuż przed utratą życia, bo z nich uczy się najwięcej.

A program learning video games revisits stored moments just before losing a life, because it learns most from them.

This concerns you if you…

Related topics

Sources