# Destylacja przez odpowiedzi nauczyciela (dane syntetyczne)

EN: **Sequence-level distillation from teacher outputs** · id `seqdistill` · aliases: sequence-level KD, black-box distillation, off-policy distillation, distillation via synthetic data

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Trenowanie i dostrajanie](https://aiatlasgraph.com/t/training.md) › [Destylacja](https://aiatlasgraph.com/t/distillation.md) › Destylacja przez odpowiedzi nauczyciela (dane syntetyczne)

## Description

- PL: Nauczyciel generuje odpowiedzi, a uczeń jest na nich dostrajany jak na zwykłych danych (SFT). Działa także z modelem dostępnym tylko przez API; trzeba pilnować warunków licencji.
- EN: The teacher generates answers and the student is fine-tuned on them like ordinary data (SFT). Works even with an API-only teacher; licence terms need checking.

## In one sentence

- PL: To uczenie modelu na gotowych odpowiedziach wygenerowanych przez model nauczyciela.
- EN: This trains a model on completed responses generated by a teacher model.

## Problem it solves

- PL: Potrzebujesz wielu przykładów dobrych odpowiedzi, a ręczne przygotowanie wszystkich zajmuje zbyt dużo czasu.
- EN: You need many examples of good responses, but writing all of them by hand takes too long.

## What it does

- PL: Nauczyciel tworzy przykłady, wybrane odpowiedzi trafiają do zbioru treningowego, a uczeń ćwiczy ich odtwarzanie; błędy nauczyciela mogą się przenieść.
- EN: A teacher generates examples, selected responses enter the training set, and the student learns to reproduce them; teacher errors can carry over.

## Everyday example

- PL: Przygotowujesz i sprawdzasz podsumowania zgłoszeń dużym modelem, a potem używasz ich do treningu mniejszego.
- EN: You produce and verify request summaries with a large model, then use them to train a smaller one.

## This concerns you if you…

- PL: nauczyciel udostępnia tylko gotowe odpowiedzi
- PL: chcesz zbudować zbiór przykładów dla ucznia
- EN: can access only completed teacher responses
- EN: want to build a student training dataset

## Keywords

synthetic demonstrations · teacher-generated sequences · sequence-level cross-entropy · response filtering · self-distillation · hard targets

## How it works

- PL: Nauczyciel generuje pełne odpowiedzi, które po selekcji tworzą zestaw demonstracji dla ucznia. Trening nadzorowany zwiększa prawdopodobieństwo tych sekwencji, przenosząc wybrane wzorce zachowania bez dostępu do wszystkich logitów nauczyciela.
- EN: Teachers generate complete responses that form student demonstrations after selection. Supervised training increases sequence probabilities, transferring selected behavioural patterns without access to all teacher logits.

## Limits

- PL: Wygenerowane przykłady tracą informację o niewybranych alternatywach. Błędy i jednorodny styl mogą dominować; jakość zależy od pokrycia wejść, selekcji odpowiedzi oraz możliwości ucznia.
- EN: Generated examples lose information about unselected alternatives. Errors and uniform style can dominate; quality depends on input coverage, response selection and student capacity.

## Key terms

- PL: **demonstracja syntetyczna**: Przykład oczekiwanej odpowiedzi wygenerowany przez inny model.
- PL: **selekcja odpowiedzi**: Wybór wyników nauczyciela nadających się do treningu ucznia.
- EN: **synthetic demonstration**: An example desired response generated by another model.
- EN: **response selection**: Choosing teacher outputs suitable for student training.

## Know first

- [SFT / instruction tuning (Supervised fine-tuning)](https://aiatlasgraph.com/t/sft.md)
- [Walidacja i testy danych (Data validation and testing)](https://aiatlasgraph.com/t/datavalidation.md)

## Examples

- PL: destylacja sekwencyjna · trening na wyjściach większego modelu · samodestylacja
- EN: sequence-level KD · training on a larger model's outputs · self-distillation

## Related topics

Untyped, symmetric "see also" links.

- [Destylacja on-policy (uczeń generuje, nauczyciel ocenia) (On-policy distillation)](https://aiatlasgraph.com/t/onpolicydistill.md)
- [Destylacja rozumowania do mniejszych modeli (Reasoning distillation)](https://aiatlasgraph.com/t/reasoningdistill.md)
- [Generowanie danych instrukcyjnych przez LLM (LLM-generated instruction data)](https://aiatlasgraph.com/t/instructiongen.md)

## Sources

- [Sequence-Level Knowledge Distillation](<https://arxiv.org/abs/1606.07947>) `kim-rush-seqkd-2016` · by Yoon Kim, Alexander M. Rush
- [A Survey on Knowledge Distillation of Large Language Models](<https://arxiv.org/abs/2402.13116>) `xu-kd-llm-survey-2024` · by Xiaohan Xu, Ming Li, Chongyang Tao i in.

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/seqdistill · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30