# Destylacja posterioru świadoma drzewa dla długich agentów

EN: **Tree-aware posterior self-distillation for long-horizon agentic RL** · id `treeopsd` · aliases: TreeOPSD, tree-aware posterior distillation, posterior self-distillation

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Trenowanie i dostrajanie](https://aiatlasgraph.com/t/training.md) › [Post-training](https://aiatlasgraph.com/t/posttraining.md) › [Preferencje i RL dla LLM](https://aiatlasgraph.com/t/preferences.md) › [RL z nagrodą](https://aiatlasgraph.com/t/rlpolicy.md) › Destylacja posterioru świadoma drzewa dla długich agentów

## Description

- PL: Bez-krytyczna destylacja posterioru świadoma drzewa dla przypisywania kredytu w agenticznym RL.
- EN: Critic-free tree-aware posterior self-distillation for credit assignment in agentic RL.

## In one sentence

- PL: Sposób przypisywania kredytu w długich trajektoriach agentów bez osobnego krytyka, przez rozgałęzianie i destylację.
- EN: A way to assign credit in long agent trajectories without a separate critic, by branching and distillation.

## Problem it solves

- PL: Nagroda tylko na końcu sprawia, że trudno wiedzieć, który krok pomógł, a aktualizacje się starzeją.
- EN: A reward only at the end makes it hard to know which step helped, and updates become stale.

## What it does

- PL: Rozgałęzia alternatywne kontynuacje, wycofuje nagrody do kroków i destyluje ograniczony cel do polityki.
- EN: It branches alternative continuations, backs up rewards to steps, and distills a bounded target into the policy.

## Everyday example

- PL: Agent bada stronę przez wiele tur. Trening wzmacnia turę, po której dalsza ścieżka ma wyższą szansę sukcesu.
- EN: An agent explores a site over many turns. Training reinforces the turn after which the further path has a higher chance of success.

## This concerns you if you…

- PL: trenujesz agenta na długich zadaniach z rzadką nagrodą
- PL: chcesz gęstszy sygnał bez dodatkowej sieci wartości
- EN: train an agent on long tasks with rare rewards
- EN: want a denser signal without an extra value network

## Keywords

TreeOPSD · tree-aware distillation · posterior self-distillation · long-horizon agentic RL · critic-free credit assignment · turn-level credit

## How it works

- PL: Każdą turę traktuje jako węzeł drzewa, rozgałęzia alternatywne kontynuacje z wspólnych prefiksów i rekurencyjnie wycofuje nagrody końcowe do ukrytego kredytu na poziomie tury. Mapuje kredyt na zamkniętą, ograniczoną dystrybucję nauczyciela z ilorazu prawdopodobień względem zamrożonej polityki zachowania. Minimalizacja dywergencji odzyskuje kierunek gradientu polityki z ograniczeniem do skończonego celu.
- EN: Each interaction turn is a tree node; it branches alternative continuations from shared prefixes and recursively backs up terminal rewards into implicit turn-level credit. It maps credit to a closed-form bounded teacher distribution parameterized by the likelihood ratio relative to the frozen behavior policy. Minimizing the divergence recovers the policy-gradient direction while bounding updates to a finite target.

## Limits

- PL: Wymaga rozgałęziania trajektorii, co zwiększa koszt. Dowody na kilku benchmarkach i skalach, szczególnie długich zadaniach. Nie eliminuje potrzeby dobrego weryfikatora końcowego.
- EN: Requires branching trajectories, which increases cost. Evidence on several benchmarks and scales, especially long-horizon tasks. It does not eliminate the need for a good terminal verifier.

## Key terms

- PL: **wycofanie nagrody**: Przeniesienie wyniku końcowego na wcześniejsze kroki w drzewie.
- PL: **posterior self-distillation**: Destylacja ograniczonego celu z własnych prób do polityki.
- EN: **reward backup**: Propagating the final result back to earlier steps in the tree.
- EN: **posterior self-distillation**: Distilling a bounded target from own trials into the policy.

## Know first

- [GRPO i warianty bez krytyka (GRPO and critic-free policy optimization)](https://aiatlasgraph.com/t/grpo.md)

## Related topics

Untyped, symmetric "see also" links.

- [Uczenie agentów na trajektoriach wielosesyjnych (Multi-session agentic reinforcement learning)](https://aiatlasgraph.com/t/mosaicmsarl.md)

## Sources

- [Tree-Aware Posterior Distillation for Long-Horizon Agentic Reinforcement Learning](<https://arxiv.org/abs/2610.23181>) `treeopsd-2026` · by Heming Zou, Qi Wang, Yixiu Mao, Yun Qu, Yuyi Guo, Zeyuan Liu, Chenglin Li, Weijie Liu, Saiyong Yang, Xiangyang Ji

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/treeopsd · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30