# Rynkowa samoorkiestracja rojów agentów

EN: **Market-based post-training for decentralized agent swarms** · id `mpt` · aliases: MPT, market-based post-training

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Aplikacje LLM i agenci](https://aiatlasgraph.com/t/applications.md) › [Agenci i orkiestracja](https://aiatlasgraph.com/t/agentsnode.md) › [Orkiestracja subagentów](https://aiatlasgraph.com/t/subagents.md) › Rynkowa samoorkiestracja rojów agentów

## Description

- PL: Ramy post-treningu, w których zdecentralizowane roje agentów wspólnie uczą się polityk działań i samoorkiestracji przez oferty.
- EN: A post-training framework in which decentralized agent swarms jointly learn action policies and self-orchestration through bids.

## In one sentence

- PL: Agenci w grupie sami decydują, kto w danej chwili działa, składając oferty, i uczą się wspólnie bez szefa.
- EN: Agents in a group decide who acts next by bidding, and learn together without a central boss.

## Problem it solves

- PL: Trudno nauczyć grupę asystentów, kiedy który ma działać, gdy nie ma centralnego koordynatora.
- EN: It is hard to teach a group of assistants when each should act when there is no central coordinator.

## What it does

- PL: Agenci składają oferty decydujące, kto działa; wynik zadania rozdziela zasługę za działania, a porównania kontrfaktyczne uczą lepszego ofertowania.
- EN: Agents bid to decide who acts; the task outcome assigns credit to actions, while counterfactual comparisons teach better bidding.

## Everyday example

- PL: Trzej asystenci budują narzędzie w grze: jeden zbiera drewno, inny kopie, trzeci składa, a oferty decydują, kto teraz działa.
- EN: Three assistants build a tool in a game: one gathers wood, another mines, the third assembles, and bids decide who acts now.

## This concerns you if you…

- PL: pracujesz z kilkoma asystentami bez jednego lidera
- PL: chcesz, by grupa sama ustalała kolejność działań
- PL: zadania wymagają współpracy kilku ról
- EN: work with several assistants without a single leader
- EN: want the group to set the order of actions itself
- EN: tasks need cooperation of several roles

## Keywords

market-based post-training · MPT · decentralized agent swarms · self-orchestration · bidding agents · bucket brigade credit · counterfactual rollouts · Bradley-Terry bids

## How it works

- PL: Agenci na każdej turze składają oferty odzwierciedlające chęć działania. Najwyższa oferta wygrywa i wykonuje akcję. Nagroda z zadania jest przypisywana lokalnie mechanizmem bucket-brigade: działający zatrzymuje część (1-oferta) i przekazuje ofertę wstecz. Polityki działań uczy się REINFORCE z bazową średnią na turach, w których agent działał. Oferty trenuje się preferencją Bradleya-Terry na kontrfaktycznych trajektoriach, w których działał drugi w kolejce. Trening naprzemiennie aktualizuje działania i oferty.
- EN: Agents bid on each turn reflecting willingness to act. The highest bid wins and executes the action. Task reward is assigned locally via a bucket-brigade: the actor keeps a fraction (1-bid) and passes the bid backward. Action policies are learned with REINFORCE using a per-agent mean baseline on turns the agent acted. Bids are trained with a Bradley-Terry preference objective on counterfactual trajectories where the runner-up acts. Training alternates action and bidding updates.

## Limits

- PL: Metoda wymaga wiarygodnej, zewnętrznie ocenianej nagrody za zadanie oraz możliwości odtworzenia identycznego stanu do kosztownych rolloutów kontrfaktycznych. Nie sprawdzono jej dla nieodwracalnych interakcji w świecie rzeczywistym, rojów trenowanych w znacznie większej skali ani wielu modeli powyżej 10 mld parametrów każdy.
- EN: The method requires reliable externally evaluated task rewards and the ability to restore the same state for costly counterfactual rollouts. It has not been evaluated for irreversible real-world interactions, jointly trained swarms at substantially larger scale, or multiple models above 10B parameters each.

## Key terms

- PL: **oferta**: Liczba pokazująca, jak bardzo agent chce działać w tej turze.
- PL: **bucket-brigade**: Sposób rozkładania nagrody wstecz przez kolejne działania.
- PL: **kontrfaktyczny rollout**: Symulacja, co by się stało, gdyby działał inny agent.
- EN: **bid**: A number showing how much an agent wants to act this turn.
- EN: **bucket-brigade**: A way of assigning reward backward through successive actions.
- EN: **counterfactual rollout**: A simulation of what would happen if another agent acted.

## Know first

- [Uczenie wieloagentowe (MARL) (Multi-agent reinforcement learning (MARL))](https://aiatlasgraph.com/t/marl.md)

## Related topics

Untyped, symmetric "see also" links.

- [Samonadzór wieloagentowy (MASS) (Multi-agent self-supervision (MASS))](https://aiatlasgraph.com/t/mass.md)

## Sources

- [Learning Self-Orchestration in Decentralized Agent Swarms](<https://arxiv.org/abs/2610.22322>) `mpt-arxiv-2610.22322` · by Guowei Xu; Zhenting Qi; Amani Kiruga; Himabindu Lakkaraju; Yilun Du
- [MPT GitHub repository](<https://github.com/Embodied-Minds-Lab/MPT>) `mpt-github` · by Embodied Minds Lab

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/mpt · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30