Dostrajanie online po treningu offline

Offline-to-online RL fine-tuning · id offlinetoonline · aliases: offline-to-online RL, online fine-tuning after offline RL

Wstępny trening polityki i funkcji wartości offline na zapisanych danych, a potem dostrajanie interakcją online, często dalej z użyciem danych offline.

Pretraining a policy and value function offline on logged data, then fine-tuning them with online interaction, often still using the offline data.

In one sentence

Najpierw program uczy się z zapisanych nagrań cudzej pracy, a potem szlifuje umiejętności, działając już samodzielnie.

First the program learns from recorded examples of others' work, then polishes its skills by acting on its own.

Problem it solves

Nauka od zera przez próby jest wolna i ryzykowna, a nauka wyłącznie z nagrań zatrzymuje się na poziomie tych nagrań.

Learning from scratch by trial is slow and risky, while learning only from recordings stalls at their level.

What it does

Jak kierowca po kursie teoretycznym i nagraniach jazdy, który potem doskonali się na prawdziwej drodze z instruktorem.

Like a learner driver who studies recordings first, then improves on real roads with an instructor.

Everyday example

Robot w magazynie startuje z umiejętności wyuczonych z zapisów pracy ludzi, a podczas kontrolowanych prób dalej poprawia tempo pakowania.

A warehouse robot starts with skills learned from logs of human work and keeps improving its packing speed during controlled trials.

This concerns you if you…

Related topics

Sources