# Scentralizowani krytycy w wieloagentowym aktorze–krytyku

EN: **Centralised critics in multi-agent actor–critic** · id `centralcritic` · aliases: centralized critic, multi-agent actor-critic

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Uczenie ze wzmocnieniem i decyzje](https://aiatlasgraph.com/t/decisions.md) › [Uczenie wieloagentowe (MARL)](https://aiatlasgraph.com/t/marl.md) › [Scentralizowany trening, zdecentralizowane działanie (CTDE)](https://aiatlasgraph.com/t/marlctde.md) › Scentralizowani krytycy w wieloagentowym aktorze–krytyku

## Description

- PL: Metody aktor–krytyk dla wielu agentów, w których zdecentralizowani aktorzy uczą się z krytyków mających podczas treningu dostęp do dodatkowych informacji o innych agentach.
- EN: Multi-agent actor–critic methods where decentralised actors learn from critics that can access additional information about other agents during training.

## In one sentence

- PL: Każdy agent działa na podstawie własnych obserwacji, ale podczas treningu ocenia go sędzia widzący szerszy obraz zespołu.
- EN: Each agent acts from its own observations, but during training a judge with a broader view of the team scores it.

## Problem it solves

- PL: Agent oceniany tylko na podstawie własnego widoku myli skutki swoich działań z tym, co zrobili inni.
- EN: An agent judged only from its own view confuses the effects of its actions with what the others did.

## What it does

- PL: Jak sędzia z powtórką z kilku kamer: zawodnicy grają po swojemu, a ocena uwzględnia ruchy całej drużyny.
- EN: Like a referee with multi-camera replay: players act their own way, while scoring accounts for the whole team's moves.

## Everyday example

- PL: Drony w symulacji uczą się rozdzielać obszary poszukiwań, bo ocena każdego lotu bierze pod uwagę trasy pozostałych.
- EN: Drones in simulation learn to split search areas because each flight's score accounts for the others' routes.

## This concerns you if you…

- PL: agenci działają osobno i każdy widzi tylko fragment sytuacji
- PL: szukasz mocnego punktu odniesienia dla zespołu agentów
- EN: agents act separately and each sees only part of the situation
- EN: you want a strong baseline for a team of agents

## Keywords

MADDPG · MAPPO · IPPO · COMA · HAPPO · FACMAC · multi-agent particle environment · Hanabi

## How it works

- PL: MADDPG rozszerza DDPG o krytyka warunkowanego akcjami wszystkich agentów, działającego także w grach mieszanych. COMA używa kontrfaktycznej linii bazowej do przypisania zasługi. MAPPO stosuje PPO z centralnym krytykiem i współdzieleniem parametrów, okazując się mocnym punktem odniesienia w zadaniach kooperacyjnych.
- EN: MADDPG extends DDPG with a critic conditioned on all agents' actions, also working in mixed games. COMA uses a counterfactual baseline for credit assignment. MAPPO applies PPO with a central critic and parameter sharing, proving a strong baseline on cooperative tasks.

## Limits

- PL: Wejście krytyka rośnie z liczbą agentów. Krytyk oparty tylko na stanie bywa obciążony przy częściowej obserwowalności, a wyniki on-policy zależą od szczegółów implementacji i hiperparametrów.
- EN: The critic's input grows with agent count. State-only critics can be biased under partial observability, and on-policy results depend on implementation details and hyperparameters.

## Key terms

- PL: **centralized critic**: Funkcja oceniająca, która w treningu widzi dane wszystkich agentów.
- PL: **counterfactual baseline**: Porównanie wyniku z tym, co by było, gdyby agent zrobił coś innego.
- EN: **centralized critic**: A value function that sees all agents' data during training.
- EN: **counterfactual baseline**: Comparing the outcome with what would happen had the agent acted differently.

## Know first

- [Metody aktor–krytyk (A2C, SAC) (Actor–critic methods (A2C, SAC))](https://aiatlasgraph.com/t/actorcritic.md)

## Related topics

Untyped, symmetric "see also" links.

- [Deterministyczne gradienty polityki (Deterministic policy-gradient methods)](https://aiatlasgraph.com/t/ddpgtd3.md)

## Sources

- [An Introduction to Centralized Training for Decentralized Execution in Cooperative Multi-Agent Reinforcement Learning](<https://arxiv.org/abs/2409.03052>) `ctde-intro-amato-2024` · by Christopher Amato
- [The Surprising Effectiveness of PPO in Cooperative, Multi-Agent Games](<https://arxiv.org/abs/2103.01955>) `mappo-2021` · by Chao Yu; Akash Velu; Eugene Vinitsky; Jiaxuan Gao; Yu Wang; Alexandre Bayen; Yi Wu
- [Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments](<https://arxiv.org/abs/1706.02275>) `maddpg-2017` · by Ryan Lowe; Yi Wu; Aviv Tamar; Jean Harb; Pieter Abbeel; Igor Mordatch

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/centralcritic · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30