# Destylacja on-policy dla hierarchicznych zespołów agentów

EN: **On-policy distillation for hierarchical multi-agent teams** · id `multiagentopd` · aliases: MultiAgent-OPD, MultiAgent on-policy distillation

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Trenowanie i dostrajanie](https://aiatlasgraph.com/t/training.md) › [Destylacja](https://aiatlasgraph.com/t/distillation.md) › [Destylacja on-policy (uczeń generuje, nauczyciel ocenia)](https://aiatlasgraph.com/t/onpolicydistill.md) › Destylacja on-policy dla hierarchicznych zespołów agentów

## Description

- PL: Łączy destylację on-policy z uczeniem ze wzmocnieniem, by end-to-end trenować współdzielony zespół Leader-Searcher-Answerer.
- EN: Combines on-policy distillation with reinforcement learning to train a shared-parameter Leader-Searcher-Answerer team end to end.

## In one sentence

- PL: Sposób wspólnego trenowania lidera i podagentów, w którym nauczyciel ocenia kroki wyszukiwania, a nie tylko końcową odpowiedź.
- EN: A way of jointly training a leader and subagents in which a teacher scores search steps, not only the final answer.

## Problem it solves

- PL: Podagenci dostają tylko pośredni sygnał z końcowego wyniku zespołu, więc trudno im się uczyć, co zrobiły źle.
- EN: Subagents receive only an indirect signal from the team's final outcome, so they struggle to learn what they did wrong.

## What it does

- PL: Najpierw trenuje nauczyciela, potem używa go do oceny tokenów wyszukiwania uczniów, łącząc to z nagrodami za sukces zespołu.
- EN: It first trains a teacher, then uses it to score the students' search tokens, combining that with rewards for team success.

## Everyday example

- PL: Zespół szuka informacji do odpowiedzi. Nauczyciel wskazuje lepsze zapytania w trakcie, a lider uczy się, kiedy przydzielać zadania.
- EN: A team searches for information to answer a question. The teacher points to better queries along the way, and the leader learns when to assign tasks.

## This concerns you if you…

- PL: budujesz zespół agentów z podziałem ról
- PL: końcowa odpowiedź nie mówi podagentom, co poprawić
- PL: chcesz gęstszego sygnału niż tylko sukces lub porażka zadania
- EN: building a team of agents with role division
- EN: the final answer does not tell subagents what to improve
- EN: want a denser signal than only task success or failure

## Keywords

MultiAgent-OPD · hierarchical multi-agent · on-policy distillation · process supervision · Leader-Searcher-Answerer · shared parameters

## How it works

- PL: Najpierw trenuje nauczyciela w prostszym przepływie Searcher-Answerer na poprawności odpowiedzi. Podczas treningu zespołu zamrożony nauczyciel ocenia tokeny wyszukiwania i podsumowań uczniów, dając lokalny nadzór procesowy. Lider uczy się z sukcesu zespołu, Answerer z poprawności kandydatów.
- EN: It first trains a teacher in a simpler Searcher-Answerer workflow on answer correctness. During team training the frozen teacher scores student search and summary tokens, providing local process supervision. The leader learns from team success and the answerer from candidate correctness.

## Limits

- PL: Dowody obejmują siedem zbiorów zadań pytanie–odpowiedź dla konkretnego, współdzielącego parametry układu Leader–Searcher–Answerer i do czterech prób. Nie pokazują jeszcze, że lokalny nadzór nauczyciela przenosi się na dowolne topologie ról, modele heterogeniczne lub zadania spoza tego układu.
- EN: Evidence covers seven question-answering datasets for a specific shared-parameter Leader–Searcher–Answerer setup and up to four attempts. It does not yet show that the teacher's local supervision transfers to arbitrary role topologies, heterogeneous models or tasks outside that setup.

## Key terms

- PL: **nadzór procesowy**: Ocena pośrednich kroków, a nie tylko końcowego wyniku.
- PL: **zespół współdzielony**: Kilka ról korzystających z tych samych parametrów modelu.
- EN: **process supervision**: Scoring intermediate steps rather than only the final outcome.
- EN: **shared-parameter team**: Several roles that use the same model parameters.

## Know first

- [Orkiestracja subagentów (Subagent orchestration)](https://aiatlasgraph.com/t/subagents.md)
- [Uczenie wieloagentowe (MARL) (Multi-agent reinforcement learning (MARL))](https://aiatlasgraph.com/t/marl.md)

## Sources

- [MultiAgent-OPD: End-to-End Training of Hierarchical Multi-Agent Systems with On-Policy Distillation](<https://arxiv.org/abs/2610.23234>) `sun-multiagentopd-2026` · by Yuhan Sun, Jiaxin Zhao, Yongdong Luo, Yibo Hu, Meiguang Jin, Junfeng Ma, Weixun Wang, Weihang Pan, Zhongan Bi

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/multiagentopd · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30