Eksploracja przez szum w parametrach sieci (NoisyNet)

Parameter-space noise for exploration (NoisyNet) · id noisynets · aliases: NoisyNet, noisy networks, parameter space noise, szum parametrów

Eksploracja przez wyuczony szum dodawany do wag sieci polityki lub Q, którego skala jest trenowana gradientowo razem z pozostałymi parametrami.

Exploration through learned noise added to the weights of a policy or Q network, with its scale trained by gradient descent alongside the other parameters.

In one sentence

Zamiast losować pojedyncze ruchy, program lekko i w kontrolowany sposób zaburza własny sposób decydowania, więc działa trochę inaczej.

Instead of randomising single moves, the program slightly and controllably perturbs its own way of deciding.

Problem it solves

Ręczne ustawianie, jak często agent ma działać losowo, jest żmudne i nie dopasowuje się do zadania.

Hand-setting how often an agent should act randomly is tedious and does not adapt to the task.

What it does

Jak muzyk, który gra tę samą piosenkę z lekko innym nastrojem każdego wieczoru, zamiast wtrącać przypadkowe fałszywe nuty.

Like a musician playing the same song in a slightly different mood each night, rather than inserting random wrong notes.

Everyday example

Postać sterowana przez AI w grze przy każdej rozgrywce przyjmuje nieco inny styl, sprawdzając, który daje lepszy wynik.

An AI-controlled game character adopts a slightly different style each playthrough, checking which scores better.

This concerns you if you…

Related topics

Sources