# Scentralizowany trening, zdecentralizowane działanie (CTDE)

EN: **Centralised training for decentralised execution (CTDE)** · id `marlctde` · aliases: CTDE, centralized training decentralized execution, scentralizowany trening

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Uczenie ze wzmocnieniem i decyzje](https://aiatlasgraph.com/t/decisions.md) › [Uczenie wieloagentowe (MARL)](https://aiatlasgraph.com/t/marl.md) › Scentralizowany trening, zdecentralizowane działanie (CTDE)

## Description

- PL: Paradygmat kooperacyjnego MARL: w treningu dostępny jest stan globalny i dane innych agentów, a wykonanie opiera się wyłącznie na lokalnych historiach obserwacji.
- EN: A cooperative MARL paradigm: training may use global state and other agents' data, while execution relies only on local observation histories.

## In one sentence

- PL: Agenci ćwiczą razem z dostępem do pełnego obrazu sytuacji, a potem każdy działa sam, widząc tylko swoje otoczenie.
- EN: Agents practise together with a full view of the situation, then each acts alone, seeing only its own surroundings.

## Problem it solves

- PL: W prawdziwym świecie członkowie zespołu nie widzą wszystkiego i nie mogą się stale naradzać, a uczenie każdego osobno bywa chaotyczne.
- EN: In the real world team members cannot see everything or keep conferring, and training each of them separately is often chaotic.

## What it does

- PL: Jak drużyna, która analizuje mecz z nagrania z lotu ptaka, a na boisku każdy gra według tego, co sam widzi.
- EN: Like a team that studies a match from an overhead recording, then on the pitch each player acts on what they see themselves.

## Everyday example

- PL: Roboty sprzątające w biurowcu trenują w symulacji ze wspólną mapą, a po wdrożeniu każdy jeździ, korzystając tylko z własnych czujników.
- EN: Office cleaning robots train in simulation with a shared map, and once deployed each drives using only its own sensors.

## This concerns you if you…

- PL: twoje programy lub roboty muszą działać bez stałej łączności
- PL: możesz ćwiczyć zespół w symulacji przed wdrożeniem
- EN: your programs or robots must work without constant connection
- EN: you can rehearse a team in simulation before deployment

## Keywords

Dec-POMDP · parameter sharing · centralized critic · value factorization · IPPO · HAPPO · EPyMARL · SMAC

## How it works

- PL: Problem modeluje się jako Dec-POMDP. Informacja dostępna tylko w treningu trafia do krytyka lub sieci mieszającej wartości, a polityki agentów warunkuje się na lokalnych historiach, często ze współdzielonymi parametrami. Dwie główne rodziny to faktoryzacja wartości i scentralizowani krytycy.
- EN: The problem is modelled as a Dec-POMDP. Training-only information feeds a critic or value-mixing network, while agent policies condition on local histories, often with shared parameters. The two main families are value factorisation and centralised critics.

## Limits

- PL: Krytyk oparty tylko na stanie globalnym bywa obciążony przy częściowej obserwowalności. Scentralizowana informacja rośnie z liczbą agentów, a polityka wyuczona z pełnym obrazem nie zawsze daje się zdecentralizować bez straty.
- EN: Critics using only global state can be biased under partial observability. Centralised information grows with agent count, and a policy learned with a full view cannot always be decentralised without loss.

## Key terms

- PL: **Dec-POMDP**: Model zespołu, w którym każdy agent widzi tylko część stanu świata.
- PL: **parameter sharing**: Wszyscy agenci używają tej samej sieci, różniąc się tylko wejściem.
- PL: **niestacjonarność**: Środowisko zmienia się z punktu widzenia agenta, bo inni też się uczą.
- EN: **Dec-POMDP**: A team model where each agent sees only part of the world state.
- EN: **parameter sharing**: All agents use the same network, differing only in their inputs.
- EN: **nonstationarity**: The environment shifts from one agent's view because the others are learning too.

## Know first

- [Częściowa obserwowalność (POMDP) (Partially observable MDPs (POMDP))](https://aiatlasgraph.com/t/pomdp.md)

## Subtopics (2 direct, 2 in total)

- [Faktoryzacja wartości w kooperacyjnym MARL (Value-function factorisation for cooperative MARL)](https://aiatlasgraph.com/t/valuedecomp.md): Value-based CTDE methods representing the joint Q-function as a composition of per-agent Q-functions consistent with the Individual-Global-Max principle.
- [Scentralizowani krytycy w wieloagentowym aktorze–krytyku (Centralised critics in multi-agent actor–critic)](https://aiatlasgraph.com/t/centralcritic.md): Multi-agent actor–critic methods where decentralised actors learn from critics that can access additional information about other agents during training.

## Related topics

Untyped, symmetric "see also" links.

- [Floty i zespoły robotów (Multi-robot systems and fleet coordination)](https://aiatlasgraph.com/t/multirobot.md)

## Sources

- [An Introduction to Centralized Training for Decentralized Execution in Cooperative Multi-Agent Reinforcement Learning](<https://arxiv.org/abs/2409.03052>) `ctde-intro-amato-2024` · by Christopher Amato

---

AI Atlas revision 124 (2026-10-31) · HTML: https://aiatlasgraph.com/t/marlctde · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30