RL jako modelowanie sekwencji (Decision Transformer)

RL as sequence modelling (Decision Transformer) · id decisiontransformer

Traktowanie trajektorii jak tekstu: transformer przewiduje kolejną akcję na podstawie historii i oczekiwanego wyniku.

Treating trajectories like text: a transformer predicts the next action from history and a desired return.

In one sentence

To wybieranie następnego działania z historii wcześniejszych kroków i wskazanego docelowego wyniku.

This chooses the next action from a history of previous steps and a specified target outcome.

Problem it solves

Masz zapisane przebiegi zadań, ale potrzebujesz wykorzystać je do wybierania kolejnych działań przy zadanym celu.

You have recorded task sequences but need to use them to choose actions for a target outcome.

What it does

Uczy się przewidywać kolejny ruch w zapisanych sekwencjach, odczytując dotychczasową sytuację, działania i oczekiwaną pozostałą nagrodę.

It learns to predict the next move in recorded sequences from situations, previous actions and the desired remaining reward.

Everyday example

Program dostaje historię ruchów w grze i oczekiwany wynik, a potem proponuje kolejny ruch podobny do odpowiednich zapisanych przebiegów.

Software receives a game's action history and desired score, then proposes a next move informed by suitable recorded sequences.

This concerns you if you…

Examples

Related topics

Sources