Destylacja on-policy (uczeń generuje, nauczyciel ocenia)

On-policy distillation · id onpolicydistill · aliases: on-policy distillation, GKD, generalized knowledge distillation

Uczeń generuje własne odpowiedzi, a nauczyciel dostarcza dla nich gęsty sygnał token po tokenie. Dzięki temu uczeń trenuje na stanach, które sam odwiedza, zamiast wyłącznie na gotowych odpowiedziach nauczyciela.

The student generates its own responses and the teacher provides a dense token-level signal for them. This trains the student on states it visits itself rather than only on finished teacher-generated answers.

In one sentence

To uczenie modelu na jego własnych próbach przy pomocy wskazówek modelu nauczyciela.

This trains a model on its own attempts with guidance from a teacher model.

Problem it solves

Uczeń podczas działania trafia na sytuacje wynikające z własnych wyborów, których nie widział w gotowych odpowiedziach nauczyciela.

During use, a student encounters situations caused by its own choices that were absent from completed teacher responses.

What it does

Uczeń generuje tekst, a nauczyciel dostarcza sygnał dla kolejnych fragmentów, pomagając poprawiać decyzje w rzeczywiście odwiedzanych sytuacjach.

The student generates text, and the teacher provides signals for successive elements, helping improve decisions in situations the student actually encounters.

Everyday example

Mały model zaczyna własne podsumowanie, a nauczyciel wskazuje lepsze dalsze wybory dla powstałego już tekstu.

A small model starts its own summary, and a teacher provides better next-choice signals for the text already produced.

This concerns you if you…

Examples

Subtopics

Related topics

Sources