Selektywny nadzór eksperta w ciągłym treningu agentów

Selective expert supervision in continual agent reinforcement learning · id tsrlcontinual · aliases: TSRL, trigger-based supervised reinforcement learning, hard-state SFT in agent RL

RL jako główny mechanizm uczenia z selektywnym SFT aktywowanym w trudnych stanach podczas ciągłego treningu agentów.

RL as backbone with selective SFT activated on hard states for continual agent training.

In one sentence

Trening agentów, który dodaje wskazówki eksperta tylko wtedy, gdy model sam sobie nie radzi.

Agent training that adds expert hints only when the model cannot manage on its own.

Problem it solves

Uczenie nowych zadań może osłabiać umiejętności agenta nabyte na wcześniejszych zadaniach.

Teaching an agent new tasks can weaken skills acquired on earlier tasks.

What it does

Główny trening wykorzystuje nagrody, a nadzór eksperta włącza się tylko dla stanów, których grupowy współczynnik sukcesu nie przekracza ustalonego progu.

Main training uses rewards, while expert supervision turns on only for states whose group success rate does not exceed a chosen threshold.

Everyday example

Agent uczy się obsługi nowego sklepu internetowego. Gdy wielokrotnie gubi się w danym kroku, dostaje poprawną akcję; selektywny nadzór ma ograniczyć pogorszenie wcześniejszych umiejętności.

An agent learns to use a new online shop. When it repeatedly gets stuck at a step, it receives the correct action; selective supervision is meant to reduce degradation of earlier skills.

This concerns you if you…

Sources