Destylacja polityki ze względną przewagą krokową

Step-Advantage Policy Distillation · id sapd · aliases: SAPD, step-advantage policy distillation

Metoda destylacji on-policy na zapisanych prefiksach trajektorii wieloturowych, wykorzystująca względne przewagi odpowiedzi w pojedynczym kroku.

An on-policy distillation method over recorded prefixes of multi-turn trajectories, using relative advantages among responses at a single decision step.

In one sentence

Uczy asystenta z zapisanych rozmów bez ponownego wchodzenia w środowisko, porównując kroki.

Teaches an assistant from recorded conversations without re-entering the environment, by comparing steps.

Problem it solves

Trudno poprawiać asystenta, gdy budowa i uruchamianie środowisk testowych jest drogie i wolne.

It is hard to improve an assistant when building and running test environments is expensive and slow.

What it does

Rozkłada zapisane działanie asystenta na osobne decyzje, pozwala uczniowi tworzyć kilka odpowiedzi dla każdej z nich i wzmacnia te ocenione względnie lepiej przez nauczyciela.

It splits a recorded agent interaction into separate decisions, lets the student produce several responses for each, and reinforces those scored relatively better by the teacher.

Everyday example

Masz zapis, jak asystent robił zakupy online. Nowy model uczy się na tych krokach bez ponownego otwierania sklepu.

You have a recording of an assistant shopping online. A new model learns from those steps without reopening the store.

This concerns you if you…

Sources