# Destylacja polityki ze względną przewagą krokową

EN: **Step-Advantage Policy Distillation** · id `sapd` · aliases: SAPD, step-advantage policy distillation

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Trenowanie i dostrajanie](https://aiatlasgraph.com/t/training.md) › [Destylacja](https://aiatlasgraph.com/t/distillation.md) › Destylacja polityki ze względną przewagą krokową

## Description

- PL: Metoda destylacji on-policy na zapisanych prefiksach trajektorii wieloturowych, wykorzystująca względne przewagi odpowiedzi w pojedynczym kroku.
- EN: An on-policy distillation method over recorded prefixes of multi-turn trajectories, using relative advantages among responses at a single decision step.

## In one sentence

- PL: Uczy asystenta z zapisanych rozmów bez ponownego wchodzenia w środowisko, porównując kroki.
- EN: Teaches an assistant from recorded conversations without re-entering the environment, by comparing steps.

## Problem it solves

- PL: Trudno poprawiać asystenta, gdy budowa i uruchamianie środowisk testowych jest drogie i wolne.
- EN: It is hard to improve an assistant when building and running test environments is expensive and slow.

## What it does

- PL: Rozkłada zapisane działanie asystenta na osobne decyzje, pozwala uczniowi tworzyć kilka odpowiedzi dla każdej z nich i wzmacnia te ocenione względnie lepiej przez nauczyciela.
- EN: It splits a recorded agent interaction into separate decisions, lets the student produce several responses for each, and reinforces those scored relatively better by the teacher.

## Everyday example

- PL: Masz zapis, jak asystent robił zakupy online. Nowy model uczy się na tych krokach bez ponownego otwierania sklepu.
- EN: You have a recording of an assistant shopping online. A new model learns from those steps without reopening the store.

## This concerns you if you…

- PL: masz dużo zapisanych działań asystenta, ale nie chcesz ich powtarzać
- PL: chcesz szybciej dostrajać model bez żywego środowiska
- PL: nowe dostrajanie pogarsza wcześniejsze umiejętności
- EN: have many recorded assistant actions but do not want to replay them
- EN: want to fine-tune a model faster without a live environment
- EN: new fine-tuning degrades earlier skills

## Keywords

SAPD · step-advantage policy distillation · offline policy distillation · on-policy distillation · multi-turn agents · relative step advantage · catastrophic forgetting

## How it works

- PL: Trajektorie wieloturowe rozkłada się na prefiksy pojedynczych decyzji zawierające wcześniejszą historię i bieżącą obserwację. Student generuje kilka odpowiedzi dla tego samego prefiksu, a nauczyciel daje nadzór tokenowy; zagregowane oceny porównuje się w obrębie tej grupy, tworząc względną przewagę kroku. Cel łączy tę przewagę z destylacją tokenową i nagrodami regułowymi bez nowych obserwacji środowiska.
- EN: Multi-turn trajectories are decomposed into single-decision prefixes containing the prior history and current observation. The student generates several responses for the same prefix and a teacher provides token-level supervision; aggregated scores are compared within the group to form a relative step advantage. The objective combines this advantage with token-level distillation and rule rewards without new environment observations.

## Limits

- PL: Jakość zależy od nauczyciela i pokrycia zapisanych prefiksów; metoda nie naprawia dowolnych błędów nauczyciela ani brakujących historii istotnych dla ucznia. Sygnał oparty na prawdopodobieństwie może sprzyjać degeneracyjnym odpowiedziom, dlatego potrzebne były dodatkowe nagrody regułowe. Wyniki obejmują trzy benchmarki, a kod nie był jeszcze opublikowany.
- EN: Quality depends on the teacher and coverage of recorded prefixes; the method does not correct arbitrary teacher errors or missing student-relevant histories. Likelihood-based supervision can favor degenerate responses, so additional rule rewards were needed. Evidence covers three benchmarks, and code had not yet been released.

## Key terms

- PL: **przewaga krokowa**: względna ocena odpowiedzi wobec innych kandydatów wygenerowanych dla tego samego kontekstu decyzji
- PL: **offline trajektoria**: zapisany ciąg decyzji i obserwacji bez dalszego działania w środowisku
- EN: **step advantage**: a response's relative score against other candidates generated for the same decision context
- EN: **offline trajectory**: a recorded sequence of decisions and observations without further environment interaction

## Know first

- [Destylacja on-policy (uczeń generuje, nauczyciel ocenia) (On-policy distillation)](https://aiatlasgraph.com/t/onpolicydistill.md)

## Sources

- [SAPD: Learning from Agent Experience without Environment Interaction](<https://arxiv.org/abs/2610.27847>) `sapd-arxiv-2610.27847` · by Juncheng Diao; Haibin Wang; Wei Shi; Yifan Ding; Qingbin Li; Rongxiang Weng; Xunliang Cai

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/sapd · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30