Uczeń uczy się odtwarzać pełny rozkład prawdopodobieństw nauczyciela, a nie tylko jego najlepszą odpowiedź. Wymaga dostępu do wyjść (logitów) nauczyciela.
The student learns to reproduce the teacher's full probability distribution, not just its top answer. Requires access to the teacher's outputs (logits).
To uczenie modelu na prawdopodobieństwach różnych odpowiedzi nauczyciela, a nie tylko na jego najlepszym wyborze.
This teaches a model from the teacher's probabilities across alternatives, rather than only its top choice.
Jedna wskazana odpowiedź gubi informację o innych pasujących możliwościach i stopniu ich podobieństwa.
One selected answer loses information about other suitable possibilities and how similar they are.
Uczeń zbliża swój rozkład wyborów do rozkładu nauczyciela, korzystając również ze słabszych alternatyw; potrzebny jest dostęp do takich sygnałów.
The student matches its choice distribution to the teacher's, including less likely alternatives; access to those signals is required.
Mały model obrazów uczy się, że zdjęcie może przypominać zarówno kubek, jak i filiżankę, zamiast otrzymać tylko jedną etykietę.
A small image model learns that a photo resembles both a mug and a cup instead of receiving just one label.