# Faktoryzacja wartości w kooperacyjnym MARL

EN: **Value-function factorisation for cooperative MARL** · id `valuedecomp` · aliases: value decomposition, value factorization

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Uczenie ze wzmocnieniem i decyzje](https://aiatlasgraph.com/t/decisions.md) › [Uczenie wieloagentowe (MARL)](https://aiatlasgraph.com/t/marl.md) › [Scentralizowany trening, zdecentralizowane działanie (CTDE)](https://aiatlasgraph.com/t/marlctde.md) › Faktoryzacja wartości w kooperacyjnym MARL

## Description

- PL: Wartościowe metody CTDE reprezentujące wspólną funkcję Q jako złożenie indywidualnych funkcji Q agentów, zgodne z zasadą Individual-Global-Max.
- EN: Value-based CTDE methods representing the joint Q-function as a composition of per-agent Q-functions consistent with the Individual-Global-Max principle.

## In one sentence

- PL: Wspólny wynik zespołu rozkłada się na udziały poszczególnych członków, żeby każdy wiedział, jak bardzo jego ruch pomógł.
- EN: The team's joint score is split into each member's share, so everyone knows how much their own move helped.

## Problem it solves

- PL: Gdy cały zespół dostaje jedną nagrodę, nikt nie wie, czy sukces przyniósł jego ruch, czy ruch kolegi.
- EN: When the whole team gets one reward, nobody knows whether success came from their move or a teammate's.

## What it does

- PL: Jak trener, który po wygranym meczu ocenia każdego zawodnika osobno, ale tak, by suma ocen zgadzała się z wynikiem drużyny.
- EN: Like a coach who rates each player after a win, making sure the individual ratings add up to the team's result.

## Everyday example

- PL: Jednostki w grze strategicznej uczą się skupiać ogień na jednym celu, choć nagrodę dostają tylko za wygraną bitwę.
- EN: Units in a strategy game learn to focus fire on one target, even though they are rewarded only for winning the battle.

## This concerns you if you…

- PL: zespół dostaje jedną wspólną ocenę za wynik
- PL: chcesz zrozumieć, jak dzielić zasługę między agentów
- EN: your team gets one shared score for the outcome
- EN: you want to see how credit is split between agents

## Keywords

VDN · QMIX · QTRAN · QPLEX · Weighted QMIX · Individual-Global-Max · SMAC · credit assignment

## How it works

- PL: Każdy agent uczy lokalnej funkcji Q z własnych obserwacji. VDN sumuje je, a QMIX łączy siecią mieszającą z wagami z hipersieci zależnej od stanu, ograniczoną do monotoniczności, więc lokalne argmaksy dają wspólne optimum. QTRAN i QPLEX rozszerzają klasę reprezentowalnych funkcji.
- EN: Each agent learns a local Q-function from its own observations. VDN sums them; QMIX combines them with a mixing network whose weights come from state-conditioned hypernetworks, constrained to be monotonic so local argmaxes yield the joint optimum. QTRAN and QPLEX widen the representable function class.

## Limits

- PL: Monotoniczność nie pozwala wyrazić zadań, w których najlepszy ruch jednego agenta zależy od ruchu innego. Metody są głównie dla akcji dyskretnych i zadań kooperacyjnych, a wyniki silnie zależą od implementacji.
- EN: Monotonicity cannot express tasks where one agent's best move depends on another's. The methods mainly target discrete actions and cooperative tasks, and results depend strongly on implementation details.

## Key terms

- PL: **IGM**: Zasada: najlepsze ruchy pojedynczych agentów razem dają najlepszy ruch zespołu.
- PL: **mixing network**: Sieć łącząca oceny agentów w jedną ocenę zespołu.
- PL: **hypernetwork**: Sieć generująca wagi innej sieci na podstawie stanu.
- EN: **IGM**: Principle: individual agents' best moves together form the team's best move.
- EN: **mixing network**: A network combining agents' values into one team value.
- EN: **hypernetwork**: A network that generates another network's weights from the state.

## Know first

- [Q-learning i głębokie sieci Q (DQN) (Q-learning and deep Q-networks (DQN))](https://aiatlasgraph.com/t/qlearning.md)
- [Częściowa obserwowalność (POMDP) (Partially observable MDPs (POMDP))](https://aiatlasgraph.com/t/pomdp.md)

## Sources

- [An Introduction to Centralized Training for Decentralized Execution in Cooperative Multi-Agent Reinforcement Learning](<https://arxiv.org/abs/2409.03052>) `ctde-intro-amato-2024` · by Christopher Amato
- [QMIX: Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning](<https://arxiv.org/abs/1803.11485>) `qmix-2018` · by Tabish Rashid; Mikayel Samvelyan; Christian Schroeder de Witt; Gregory Farquhar; Jakob Foerster; Shimon Whiteson

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/valuedecomp · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30