Uczenie wieloagentowe (MARL)

Multi-agent reinforcement learning (MARL) · id marl

Wielu uczących się agentów w jednym środowisku: współpraca, rywalizacja i gra z samym sobą. Łączy RL z teorią gier.

Many learning agents in one environment: cooperation, competition and self-play. Combines RL with game theory.

In one sentence

To uczenie wielu programów wyboru działań, gdy współpracują lub rywalizują w jednym otoczeniu.

This teaches several programs to choose actions while cooperating or competing in one environment.

Problem it solves

Wynik twojego działania zależy od innych uczestników, którzy również uczą się i zmieniają swoje zachowanie.

Your action's outcome depends on other participants who also learn and change their behaviour.

What it does

Ćwiczy interakcje wielu uczestników, ocenia indywidualne lub wspólne wyniki i aktualizuje ich wybory z uwzględnieniem pozostałych.

It practises interactions among participants, scores individual or shared outcomes and updates their choices while accounting for the others.

Everyday example

W symulowanym magazynie wózki uczą się ustępować sobie na skrzyżowaniach i dzielić zadania, żeby wspólnie dostarczać paczki.

In a simulated warehouse, carts learn to yield at junctions and share tasks to deliver parcels together.

This concerns you if you…

• kilku uczestników wpływa wzajemnie na swoje wyniki
• chcesz uczyć współpracy, rywalizacji lub podziału zadań
• have participants whose actions affect each other's outcomes
• want to learn cooperation, competition or task sharing

Examples

• Self-play · scentralizowany trening, zdecentralizowane działanie · MAPPO · teoria gier
• Self-play · centralised training, decentralised execution · MAPPO · game theory

Subtopics

• Scentralizowany trening, zdecentralizowane działanie (CTDE) (Centralised training for decentralised execution (CTDE)): A cooperative MARL paradigm: training may use global state and other agents' data, while execution relies only on local observation histories.
  • Faktoryzacja wartości w kooperacyjnym MARL (Value-function factorisation for cooperative MARL): Value-based CTDE methods representing the joint Q-function as a composition of per-agent Q-functions consistent with the Individual-Global-Max principle.
  • Scentralizowani krytycy w wieloagentowym aktorze–krytyku (Centralised critics in multi-agent actor–critic): Multi-agent actor–critic methods where decentralised actors learn from critics that can access additional information about other agents during training.
• Uczenie komunikacji między agentami (Learned multi-agent communication (emergent communication)): A MARL direction in which partially observing agents learn communication protocols end-to-end, together with their action policies.
• Współpraca z nieznanymi partnerami (ad hoc teamwork) (Ad hoc teamwork): The problem of designing agents that cooperate with previously unseen partners without prior coordination, including zero-shot coordination with humans.

Related topics

• Algorytmy RL (Reinforcement learning algorithms)
• Równowaga Nasha i rozwiązywanie gier (Nash equilibrium and solving games)
• Uczenie przez grę z samym sobą (self-play) (Self-play and league training)

Sources

• Hugging Face Deep Reinforcement Learning Course — unit list · Hugging Face
• Multi-Agent Reinforcement Learning: Foundations and Modern Approaches · S. V. Albrecht, F. Christianos, L. Schäfer