Łączy destylację on-policy z uczeniem ze wzmocnieniem, by end-to-end trenować współdzielony zespół Leader-Searcher-Answerer.
Combines on-policy distillation with reinforcement learning to train a shared-parameter Leader-Searcher-Answerer team end to end.
Sposób wspólnego trenowania lidera i podagentów, w którym nauczyciel ocenia kroki wyszukiwania, a nie tylko końcową odpowiedź.
A way of jointly training a leader and subagents in which a teacher scores search steps, not only the final answer.
Podagenci dostają tylko pośredni sygnał z końcowego wyniku zespołu, więc trudno im się uczyć, co zrobiły źle.
Subagents receive only an indirect signal from the team's final outcome, so they struggle to learn what they did wrong.
Najpierw trenuje nauczyciela, potem używa go do oceny tokenów wyszukiwania uczniów, łącząc to z nagrodami za sukces zespołu.
It first trains a teacher, then uses it to score the students' search tokens, combining that with rewards for team success.
Zespół szuka informacji do odpowiedzi. Nauczyciel wskazuje lepsze zapytania w trakcie, a lider uczy się, kiedy przydzielać zadania.
A team searches for information to answer a question. The teacher points to better queries along the way, and the leader learns when to assign tasks.