# Eksploracja w kontekście przez asymetryczną destylację on-policy

EN: **In-context exploration through asymmetric on-policy distillation** · id `asteroid` · aliases: ASTEROID, asymmetric on-policy distillation for in-context exploration

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Trenowanie i dostrajanie](https://aiatlasgraph.com/t/training.md) › [Destylacja](https://aiatlasgraph.com/t/distillation.md) › [Destylacja on-policy (uczeń generuje, nauczyciel ocenia)](https://aiatlasgraph.com/t/onpolicydistill.md) › Eksploracja w kontekście przez asymetryczną destylację on-policy

## Description

- PL: Ramka student-nauczyciel, w której historia on-policy ucznia dostaje etykiety akcji od uprzywilejowanego eksperta, ucząc eksploracji w czasie testu.
- EN: A student-teacher framework in which the student's on-policy history receives action labels from a privileged expert, teaching test-time exploration.

## In one sentence

- PL: Uczy agenta, żeby najpierw szukał brakujących informacji, a potem działał, korzystając z wskazówek eksperta, który widzi wszystko.
- EN: Teaches an agent to first search for missing information and then act, using hints from an expert that sees everything.

## Problem it solves

- PL: Agent nie wie, czego nie widzi, więc albo od razu działa na oślep, albo marnuje czas na nieefektywne próby.
- EN: The agent does not know what it cannot see, so it either acts blindly at once or wastes time on inefficient trials.

## What it does

- PL: Uczeń zbiera własne obserwacje, a ekspert z pełną wiedzą podpowiada lepsze działanie dla tej historii.
- EN: The student gathers its own observations, and an expert with full knowledge suggests a better action for that history.

## Everyday example

- PL: Robot szuka przedmiotu na stole, którego nie widzi. Uczy się najpierw przesuwać rękę, aż go znajdzie, a potem chwyta.
- EN: A robot looks for an object on a table it cannot see. It learns to move its hand until it finds it, then grasps.

## This concerns you if you…

- PL: agent musi odkryć ukryte informacje, zanim podejmie decyzję
- PL: masz eksperta, który widzi więcej niż zwykły agent
- PL: chcesz efektywniejszej eksploracji bez kosztownego uczenia ze wzmocnieniem
- EN: the agent must discover hidden information before deciding
- EN: you have an expert that sees more than the ordinary agent
- EN: want more efficient exploration without expensive reinforcement learning

## Keywords

ASTEROID · asymmetric distillation · in-context exploration · partial observability · privileged expert · on-policy context

## How it works

- PL: Uczeń generuje kontekst pod częściową obserwowalnością. Uprzywilejowany ekspert, który widzi ukryty stan, dostarcza etykiety akcji warunkowane tą historią. Destylacja uczy ucznia szukać, gdy jest niepewny, i eksploatować, gdy stan został ujawniony.
- EN: The student generates context under partial observability. A privileged expert that sees the hidden state supplies action labels conditioned on that history. Distillation teaches the student to search while uncertain and exploit once the state is revealed.

## Limits

- PL: Wymaga uprzywilejowanego eksperta, który podczas treningu widzi ukryty stan. Publikacja ocenia metodę w jedenastu środowiskach oraz jednym scenariuszu robotycznym po transferze z symulacji; nie wykazuje skuteczności bez takiego eksperta ani dla dowolnych zadań częściowo obserwowalnych.
- EN: It requires a privileged expert that sees the hidden state during training. The paper evaluates the method in eleven environments and one robotic scenario after simulation transfer; it does not establish effectiveness without such an expert or across arbitrary partially observable tasks.

## Key terms

- PL: **uprzywilejowany ekspert**: Model lub polityka, która widzi informacje ukryte przed uczniem.
- PL: **eksploracja w kontekście**: Uczenie się szukania brakujących danych w trakcie działania, bez osobnego treningu RL.
- EN: **privileged expert**: A model or policy that sees information hidden from the student.
- EN: **in-context exploration**: Learning to search for missing data during action without separate RL training.

## Know first

- [Częściowa obserwowalność (POMDP) (Partially observable MDPs (POMDP))](https://aiatlasgraph.com/t/pomdp.md)

## Sources

- [Asymmetric On-Policy Distillation Learns In-Context Exploration](<https://arxiv.org/abs/2610.30105>) `poddar-asteroid-2026` · by Sriyash Poddar, Yanda Bao, Jacob Krantz, Matthew Chang, Xavier Puig, Roozbeh Mottaghi, Natasha Jaques, Abhishek Gupta

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/asteroid · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30