Architektura dueling: wartość stanu i przewaga akcji

Dueling network architecture · id duelingdqn · aliases: Dueling DQN, dueling network, value–advantage decomposition, sieć dueling

Architektura sieci Q z dwiema gałęziami: wartości stanu V(s) i przewagi akcji A(s,a), łączonymi w Q(s,a) bez zmiany algorytmu uczenia.

A Q-network architecture with two streams, state value V(s) and action advantage A(s,a), combined into Q(s,a) without changing the learning algorithm.

In one sentence

Sposób budowy sieci, który osobno ocenia, jak dobra jest sytuacja, a osobno, o ile lepszy jest każdy ruch.

A way to build the network that separately judges how good a situation is and how much better each move is.

Problem it solves

W wielu sytuacjach wybór ruchu prawie nie ma znaczenia, a program i tak marnuje wysiłek na ocenianie każdego z osobna.

In many situations the choice of move barely matters, yet the program wastes effort scoring each separately.

What it does

Jak kierowca na pustej autostradzie: wie, że jest dobrze, niezależnie od pasa; uwagi na wybór pasa potrzeba dopiero w korku.

Like a driver on an empty motorway: things are fine whichever lane; lane choice matters only in traffic.

Everyday example

Agent w grze wyścigowej szybko uczy się, które odcinki toru są bezpieczne, nawet gdy rzadko testował tam każdy skręt.

A racing-game agent quickly learns which track sections are safe, even without testing every turn there.

This concerns you if you…

Sources