Faktoryzacja wartości w kooperacyjnym MARL

Value-function factorisation for cooperative MARL · id valuedecomp · aliases: value decomposition, value factorization

Wartościowe metody CTDE reprezentujące wspólną funkcję Q jako złożenie indywidualnych funkcji Q agentów, zgodne z zasadą Individual-Global-Max.

Value-based CTDE methods representing the joint Q-function as a composition of per-agent Q-functions consistent with the Individual-Global-Max principle.

In one sentence

Wspólny wynik zespołu rozkłada się na udziały poszczególnych członków, żeby każdy wiedział, jak bardzo jego ruch pomógł.

The team's joint score is split into each member's share, so everyone knows how much their own move helped.

Problem it solves

Gdy cały zespół dostaje jedną nagrodę, nikt nie wie, czy sukces przyniósł jego ruch, czy ruch kolegi.

When the whole team gets one reward, nobody knows whether success came from their move or a teammate's.

What it does

Jak trener, który po wygranym meczu ocenia każdego zawodnika osobno, ale tak, by suma ocen zgadzała się z wynikiem drużyny.

Like a coach who rates each player after a win, making sure the individual ratings add up to the team's result.

Everyday example

Jednostki w grze strategicznej uczą się skupiać ogień na jednym celu, choć nagrodę dostają tylko za wygraną bitwę.

Units in a strategy game learn to focus fire on one target, even though they are rewarded only for winning the battle.

This concerns you if you…

Sources