Uczenie on-policy i off-policy

On-policy vs off-policy learning · id onoffpolicy · aliases: on-policy, off-policy, behaviour policy vs target policy

Podział metod RL według tego, czy polityka zbierająca dane (behawioralna) jest tą samą, którą się uczy (docelową); część metod off-policy koryguje tę różnicę, np. ważeniem istotności.

Splits RL methods by whether the data-collecting (behaviour) policy equals the learned (target) policy; some off-policy methods correct this mismatch, for example with importance sampling.

In one sentence

Rozróżnienie, czy program uczy się tylko z własnych, bieżących prób, czy także z cudzych lub dawnych doświadczeń.

The distinction between a program learning only from its own current attempts or also from others' or older experience.

Problem it solves

Zebrane doświadczenia szybko się dezaktualizują, gdy program zmienia sposób działania, a wyrzucanie ich jest marnotrawstwem.

Collected experience goes stale once the program changes how it acts, yet throwing it away is wasteful.

What it does

Jak nauka gotowania tylko z własnych prób w porównaniu z nauką także z cudzych zapisanych przepisów i ich ocen.

Like learning to cook only from your own attempts versus also learning from others' recorded recipes and their ratings.

Everyday example

Asystent zakupowy poprawia rekomendacje na podstawie historii zamówień z czasów, gdy działał według starszych reguł.

A shopping assistant improves recommendations using order history from when it followed older rules.

This concerns you if you…

Related topics

Sources