Gradient polityki (REINFORCE)

Policy gradient methods (REINFORCE) · id policygradient

Bezpośrednie poprawianie parametrów polityki w kierunku akcji, które dały wyższą nagrodę. Proste i ogólne, ale wymaga wielu prób.

Directly adjusting policy parameters towards actions that led to higher reward. Simple and general, but sample-hungry.

In one sentence

To poprawianie sposobu wybierania działań, żeby częściej prowadziły do lepszego wyniku.

This improves how actions are chosen so they more often lead to better outcomes.

Problem it solves

Masz ocenę całej próby, ale potrzebujesz powiązać ją z wyborami, które program wykonał po drodze.

You have a score for a whole trial but need to relate it to choices the program made along the way.

What it does

Zwiększa szanse wyborów powiązanych z lepszym wynikiem i zmniejsza szanse gorszych, aktualizując wyuczone ustawienia na podstawie prób.

It raises the chances of choices associated with better outcomes and lowers worse ones, updating learned settings from trials.

Everyday example

W symulatorze robot próbuje różnych ruchów ramienia, a udane przeniesienie przedmiotu wpływa na przyszłe wybieranie podobnych ruchów.

In a simulator, a robot tries different arm movements, and successfully moving an object influences future selection of similar actions.

This concerns you if you…

Examples

Sources