Destylacja

Knowledge distillation · id distillation

Uczenie modelu na sygnale od innego modelu.

Training a model on signal from another model.

In one sentence

To uczenie modelu na odpowiedziach lub sygnałach przygotowanych przez inny model.

This trains a model using responses or signals produced by another model.

Problem it solves

Masz dobry model nauczyciela, ale potrzebujesz innego wariantu do tańszego, mniejszego lub bardziej dopasowanego użycia.

You have a capable teacher model but need another variant for cheaper, smaller or more tailored use.

What it does

Nauczyciel pokazuje odpowiedzi, rozkład możliwych wyborów lub ocenia próby ucznia; uczeń dostosowuje się do tych sygnałów i wymaga własnych testów.

A teacher provides responses, choice distributions or feedback on student attempts; the student learns from these signals and needs its own tests.

Everyday example

Duży model przygotowuje sprawdzone podsumowania, na których uczysz mniejszy wariant do codziennych notatek.

A large model prepares verified summaries used to train a smaller variant for everyday notes.

This concerns you if you…

Examples

Subtopics

Related topics

Sources