# Destylacja na miękkich etykietach (logity nauczyciela)

EN: **Soft-label (logit) distillation** · id `logitdistill` · aliases: soft targets, logit distillation, Hinton distillation, white-box distillation

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Trenowanie i dostrajanie](https://aiatlasgraph.com/t/training.md) › [Destylacja](https://aiatlasgraph.com/t/distillation.md) › Destylacja na miękkich etykietach (logity nauczyciela)

## Description

- PL: Uczeń uczy się odtwarzać pełny rozkład prawdopodobieństw nauczyciela, a nie tylko jego najlepszą odpowiedź. Wymaga dostępu do wyjść (logitów) nauczyciela.
- EN: The student learns to reproduce the teacher's full probability distribution, not just its top answer. Requires access to the teacher's outputs (logits).

## In one sentence

- PL: To uczenie modelu na prawdopodobieństwach różnych odpowiedzi nauczyciela, a nie tylko na jego najlepszym wyborze.
- EN: This teaches a model from the teacher's probabilities across alternatives, rather than only its top choice.

## Problem it solves

- PL: Jedna wskazana odpowiedź gubi informację o innych pasujących możliwościach i stopniu ich podobieństwa.
- EN: One selected answer loses information about other suitable possibilities and how similar they are.

## What it does

- PL: Uczeń zbliża swój rozkład wyborów do rozkładu nauczyciela, korzystając również ze słabszych alternatyw; potrzebny jest dostęp do takich sygnałów.
- EN: The student matches its choice distribution to the teacher's, including less likely alternatives; access to those signals is required.

## Everyday example

- PL: Mały model obrazów uczy się, że zdjęcie może przypominać zarówno kubek, jak i filiżankę, zamiast otrzymać tylko jedną etykietę.
- EN: A small image model learns that a photo resembles both a mug and a cup instead of receiving just one label.

## This concerns you if you…

- PL: masz dostęp do prawdopodobieństw nauczyciela
- PL: chcesz przekazać więcej niż jedną poprawną etykietę
- EN: can access the teacher's probabilities
- EN: want to transfer more than a single label

## Keywords

soft targets · KL divergence · temperature · Hinton distillation · forward KL · reverse KL

## How it works

- PL: Logity nauczyciela i ucznia przekształca się w rozkłady, opcjonalnie z regulowaną temperaturą. Minimalizacja rozbieżności uczy nie tylko najlepszego tokenu, lecz również względnej wiarygodności alternatyw w tym samym kontekście.
- EN: Teacher and student logits become distributions, optionally with adjusted temperatures. Minimising divergence teaches both the best token and the relative plausibility of alternatives within the same context.

## Limits

- PL: Potrzebny jest dostęp do rozkładów oraz zgodne lub mapowane słowniki. Przechowywanie pełnych wyników kosztuje pamięć; temperatura i kierunek rozbieżności wpływają na to, które alternatywy uczeń zachowuje.
- EN: Distribution access and compatible or mapped vocabularies are required. Storing full outputs costs memory; temperature and divergence direction affect which alternatives students retain.

## Key terms

- PL: **soft target**: Rozkład prawdopodobieństwa nauczyciela używany zamiast pojedynczej etykiety.
- PL: **temperatura destylacji**: Parametr regulujący wyrównanie prawdopodobieństw przed porównaniem rozkładów.
- EN: **soft target**: A teacher probability distribution used instead of a single label.
- EN: **distillation temperature**: A parameter controlling probability smoothing before distribution comparison.

## Know first

- [Statystyka i niepewność (Statistics and uncertainty)](https://aiatlasgraph.com/t/probability.md)
- [Funkcje straty (entropia krzyżowa, MSE) (Loss functions (cross-entropy, MSE))](https://aiatlasgraph.com/t/lossfunctions.md)

## Examples

- PL: temperatura · dywergencja KL do nauczyciela · kompresja zespołu modeli do jednego
- EN: temperature · KL divergence to the teacher · compressing an ensemble into one model

## Related topics

Untyped, symmetric "see also" links.

- [Teoria informacji: entropia i dywergencja KL (Information theory: entropy, cross-entropy and KL divergence)](https://aiatlasgraph.com/t/infotheory.md)

## Sources

- [Distilling the Knowledge in a Neural Network](<https://arxiv.org/abs/1503.02531>) `hinton-kd-2015` · by Geoffrey Hinton, Oriol Vinyals, Jeff Dean
- [A Survey on Knowledge Distillation of Large Language Models](<https://arxiv.org/abs/2402.13116>) `xu-kd-llm-survey-2024` · by Xiaohan Xu, Ming Li, Chongyang Tao i in.

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/logitdistill · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30