Eksploracja w kontekście przez asymetryczną destylację on-policy

In-context exploration through asymmetric on-policy distillation · id asteroid · aliases: ASTEROID, asymmetric on-policy distillation for in-context exploration

Ramka student-nauczyciel, w której historia on-policy ucznia dostaje etykiety akcji od uprzywilejowanego eksperta, ucząc eksploracji w czasie testu.

A student-teacher framework in which the student's on-policy history receives action labels from a privileged expert, teaching test-time exploration.

In one sentence

Uczy agenta, żeby najpierw szukał brakujących informacji, a potem działał, korzystając z wskazówek eksperta, który widzi wszystko.

Teaches an agent to first search for missing information and then act, using hints from an expert that sees everything.

Problem it solves

Agent nie wie, czego nie widzi, więc albo od razu działa na oślep, albo marnuje czas na nieefektywne próby.

The agent does not know what it cannot see, so it either acts blindly at once or wastes time on inefficient trials.

What it does

Uczeń zbiera własne obserwacje, a ekspert z pełną wiedzą podpowiada lepsze działanie dla tej historii.

The student gathers its own observations, and an expert with full knowledge suggests a better action for that history.

Everyday example

Robot szuka przedmiotu na stole, którego nie widzi. Uczy się najpierw przesuwać rękę, aż go znajdzie, a potem chwyta.

A robot looks for an object on a table it cannot see. It learns to move its hand until it finds it, then grasps.

This concerns you if you…

Sources