# Uczenie agentów na trajektoriach wielosesyjnych

EN: **Multi-session agentic reinforcement learning** · id `mosaicmsarl` · aliases: Mosaic, multi-session agentic RL, hierarchical multi-session advantage

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Trenowanie i dostrajanie](https://aiatlasgraph.com/t/training.md) › [Post-training](https://aiatlasgraph.com/t/posttraining.md) › [Preferencje i RL dla LLM](https://aiatlasgraph.com/t/preferences.md) › [RL z nagrodą](https://aiatlasgraph.com/t/rlpolicy.md) › Uczenie agentów na trajektoriach wielosesyjnych

## Description

- PL: Hierarchiczna optymalizacja przewag bez krytyka dla trajektorii agentów składających się z wielu sesji.
- EN: Critic-free hierarchical advantage optimization for agent trajectories composed of multiple sessions.

## In one sentence

- PL: Trening agentów, który uwzględnia kilka osobnych sesji w jednej długiej próbie.
- EN: Training agents that accounts for several separate sessions inside one long trial.

## Problem it solves

- PL: Trening zakłada jedną ciągłą rozmowę, a w praktyce agent dzieli pracę na sesje lub kompresuje kontekst.
- EN: Training assumes one continuous conversation, but agents split work into sessions or compress context in practice.

## What it does

- PL: Porównuje całe próby i poszczególne sesje: wśród sukcesów preferuje mniej sesji, wśród porażek wspiera szerszą eksplorację, a sesjom przypisuje sygnał z poprawy przewidywalności odpowiedzi.
- EN: It compares whole trials and individual sessions: among successes it favors fewer sessions, among failures it supports broader exploration, and it gives sessions a signal from improved answer predictability.

## Everyday example

- PL: Agent szuka informacji na stronie. Po kompresji historii trening wzmacnia sesje, po których poprawna odpowiedź staje się bardziej przewidywalna dla modelu.
- EN: An agent searches a site. After history compaction, training reinforces sessions after which the correct answer becomes more predictable to the model.

## This concerns you if you…

- PL: trenujesz agenta, który czasem kompresuje kontekst
- PL: agent dzieli długie zadanie na osobne podzadania
- PL: chcesz, by trening pasował do rzeczywistego przebiegu sesji
- EN: train an agent that sometimes compresses context
- EN: the agent splits long tasks into separate subtasks
- EN: want training to match real session flow

## Keywords

multi-session agentic RL · Mosaic · hierarchical advantage · session-usage signal · marginal information gain · context compaction · subagent forking · GRPO

## How it works

- PL: Na poziomie trajektorii moduluje przewagę z GRPO sygnałem liczby sesji (wycentrowaną rangą w grupach sukcesu i porażki). Na poziomie sesji dodaje kształtowanie z operacyjnego marginalnego przyrostu informacji o poprawnej odpowiedzi, normalizowanego według typu sesji (zwykła, kompresja kontekstu, subagent).
- EN: At trajectory level it modulates GRPO advantage with a session-count signal (centered rank within success and failure groups). At session level it adds shaping from an operational marginal information gain about the correct answer, normalized by session type (ordinary, context compaction, subagent).

## Limits

- PL: Dowody pochodzą z BrowseComp i jednego modelu bazowego, więc uogólnienie na inne zadania i skale wymaga sprawdzenia. Liczba sesji jest tylko przybliżeniem kosztu lub eksploracji. Miara przyrostu informacji wymaga poprawnej odpowiedzi i dodatkowego oceniania podczas treningu; może też nie odzwierciedlać przyczynowego wkładu sesji, zwłaszcza w grafie subagentów.
- EN: Evidence comes from BrowseComp and one base model, so generalization to other tasks and scales remains untested. Session count is only a proxy for cost or exploration. The information-gain measure requires the correct answer and extra scoring during training; it may also differ from a session's causal contribution, especially in a subagent graph.

## Key terms

- PL: **sesja**: Jedna ciągła interakcja agenta przed kompresją lub utworzeniem odgałęzienia.
- PL: **marginalny przyrost informacji**: Różnica średniego log-prawdopodobieństwa poprawnej odpowiedzi przed i po sesji.
- PL: **wycentrowana ranga**: Znormalizowana pozycja liczby sesji w grupie o tym samym wyniku.
- EN: **session**: One continuous agent interaction before compaction or branching.
- EN: **marginal information gain**: Difference in the correct answer's mean log-probability before and after a session.
- EN: **centered rank**: Normalized rank of session count within a same-outcome group.

## Know first

- [GRPO i warianty bez krytyka (GRPO and critic-free policy optimization)](https://aiatlasgraph.com/t/grpo.md)
- [Zarządzanie oknem kontekstu (Context window management: placement, compaction and context rot)](https://aiatlasgraph.com/t/contextmanagement.md)
- [Orkiestracja subagentów (Subagent orchestration)](https://aiatlasgraph.com/t/subagents.md)

## Related topics

Untyped, symmetric "see also" links.

- [Destylacja posterioru świadoma drzewa dla długich agentów (Tree-aware posterior self-distillation for long-horizon agentic RL)](https://aiatlasgraph.com/t/treeopsd.md)

## Sources

- [Mosaic: Multi-Session Agentic Reinforcement Learning](<https://arxiv.org/abs/2610.22174>) `mosaic-msarl-2026` · by Yilong Xu, Minrui Xu, Xinyu Zhou, Xiang Long, Haochen Tan, Zhijiang Guo

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/mosaicmsarl · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30