# Rekurencyjna samodestylacja

EN: **Recursive self-distillation** · id `recursiveselfdistill` · aliases: RSD

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Trenowanie i dostrajanie](https://aiatlasgraph.com/t/training.md) › [Destylacja](https://aiatlasgraph.com/t/distillation.md) › Rekurencyjna samodestylacja

## Description

- PL: Samodestylacja powtarzana w rundach, w której zaktualizowany model staje się nauczycielem następnej iteracji.
- EN: Self-distillation repeated across rounds, with the updated model becoming the teacher for the next iteration.

## In one sentence

- PL: Model uczy się na własnych odpowiedziach z dodatkowym kontekstem, a po każdej rundzie staje się nauczycielem dla następnej.
- EN: A model learns from its own answers with extra context, and after each round becomes the teacher for the next.

## Problem it solves

- PL: Chcesz poprawić model bez zewnętrznego nauczyciela, używając tylko jego własnych generacji i prostych wskazówek.
- EN: You want to improve a model without an external teacher, using only its own generations and simple cues.

## What it does

- PL: W każdej rundzie model generuje lub ocenia trajektorie z dodatkową informacją, uczeń dopasowuje do nich zachowanie bez tej informacji, a zaktualizowane wagi rozpoczynają kolejną rundę.
- EN: In each round, a model generates or evaluates trajectories with extra information, the student matches that behaviour without the information, and the updated weights start the next round.

## Everyday example

- PL: Model widzi podczas generowania dodatkową wskazówkę, uczy się odtwarzać odpowiedź bez niej, a następnie powtarza ten proces jako nowy nauczyciel.
- EN: A model sees an extra cue while generating, learns to reproduce the response without it, then repeats the process as the new teacher.

## This concerns you if you…

- PL: trenujesz model na jego własnych odpowiedziach
- PL: dodajesz krótkie wskazówki podczas destylacji
- PL: obserwujesz zmiany zachowania po wielu rundach
- EN: train a model on its own responses
- EN: add short cues during distillation
- EN: watch behaviour change after many rounds

## Keywords

recursive self-distillation · RSD · self-distillation · on-policy self-distillation · context distillation · OPSD · token-level KL

## How it works

- PL: W wariancie off-policy nauczyciel generuje trajektorie z dodatkowym kontekstem, a uczeń dopasowuje się do nich bez niego. W wariancie on-policy trajektorie generuje uczeń bez dodatkowego kontekstu, a nauczyciel z kontekstem dostarcza rozkłady tokenów dla napotkanych prefiksów. Po aktualizacji nowy model staje się nauczycielem kolejnej rundy.
- EN: In the off-policy variant, the teacher generates trajectories with extra context and the student matches them without it. In the on-policy variant, the student generates trajectories without extra context while the context-conditioned teacher supplies token distributions at the encountered prefixes. After updating, the new model becomes the teacher for the next round.

## Limits

- PL: Rezultat zależy od danych, dodatkowego kontekstu, wariantu on- lub off-policy i liczby rund. Rekurencja może wzmacniać błędy, prowadzić do zapadania się różnorodności odpowiedzi albo osłabiać bezpieczeństwo; potrzebne są kontrole jakości i bezpieczeństwa między rundami.
- EN: Outcomes depend on data, privileged context, the on- or off-policy variant, and the number of rounds. Recursion can amplify errors, collapse response diversity, or weaken safety; quality and safety checks are needed between rounds.

## Key terms

- PL: **samodestylacja**: Uczenie modelu na jego własnych generacjach jako sygnale.
- PL: **rekurencja**: Każdy nowy model staje się nauczycielem następnej rundy.
- PL: **cue**: Dodatkowa niegroźna informacja dodawana podczas generowania.
- EN: **self-distillation**: Training a model on its own generations as the signal.
- EN: **recursion**: Each new model becomes the teacher for the next round.
- EN: **cue**: Additional non-harmful information added during generation.

## Know first

- [Destylacja on-policy (uczeń generuje, nauczyciel ocenia) (On-policy distillation)](https://aiatlasgraph.com/t/onpolicydistill.md)
- [Destylacja kontekstu (wpisanie instrukcji w wagi modelu) (Context distillation)](https://aiatlasgraph.com/t/contextdistill.md)

## Related topics

Untyped, symmetric "see also" links.

- [Postępujące rozminięcie z celami (Progressive misalignment)](https://aiatlasgraph.com/t/progressivemisalignment.md)

## Sources

- [Progressive Misalignment Can Emerge from Benign Recursive Self-Distillation](<https://arxiv.org/abs/2610.22467>) `sadek-progressive-misalignment-2026` · by Karim Abdel Sadek; Federico Di Gennaro; Fanny Yang
- [Progressive Misalignment Project Page](<https://progressive-misalignment.github.io/>) `progressive-misalignment-project-2026` · by Karim Abdel Sadek; Federico Di Gennaro; Fanny Yang

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/recursiveselfdistill · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30