Projektowanie i kształtowanie nagrody

Reward design and reward shaping · id rewarddesign · aliases: reward shaping, reward design, potential-based reward shaping, PBRS, reward engineering, kształtowanie nagrody, rzadkie nagrody

Ustalanie sygnału nagrody tak, by agent uczył się zamierzonego zachowania, oraz dodawanie nagród pomocniczych, które przyspieszają naukę bez zmiany celu.

Specifying the reward signal so the agent learns the intended behaviour, and adding auxiliary rewards that speed up learning without changing the goal.

In one sentence

To ustalanie, za co program dostaje punkty, tak żeby uczył się tego, czego naprawdę chcesz.

This decides what the software earns points for, so that it learns what you actually want.

Problem it solves

Nagroda tylko za ostateczny sukces przychodzi tak rzadko, że program prawie nie ma z czego się uczyć, a dodatkowe punkty łatwo wypaczają cel.

A reward only for final success comes so rarely that the software has almost nothing to learn from, while extra points easily distort the goal.

What it does

Jak gra w ciepło–zimno: podpowiedzi prowadzą w stronę celu, ale nie dają nic za kręcenie się w kółko.

Like a game of hot and cold: hints lead towards the goal but give nothing for walking in circles.

Everyday example

Ucząc wirtualnego psa aportu, dajesz mu drobną nagrodę za zbliżanie się do piłki, a główną dopiero za jej przyniesienie.

Teaching a virtual dog to fetch, you give a small reward for approaching the ball and the main one only for bringing it back.

This concerns you if you…

Examples

Related topics

Sources