Destylacja kontekstu (wpisanie instrukcji w wagi modelu)

Context distillation · id contextdistill · aliases: context distillation, prompt distillation, destylacja kontekstu

Dostrajanie modelu tak, by bez długiego promptu odpowiadał tak, jak odpowiadał z nim.

Fine-tuning a model so that without a long prompt it answers as it did with one.

In one sentence

Sposób, by model przyswoił zachowanie wywoływane wcześniej długą instrukcją i odtwarzał je z krótszego wejścia.

A way for a model to absorb behaviour previously elicited by a long instruction and reproduce it from a shorter input.

Problem it solves

Długie instrukcje i przykłady trzeba dołączać do każdego zapytania, co spowalnia odpowiedzi i podnosi koszt.

Long instructions and examples must be attached to every request, which slows answers and raises costs.

What it does

Jak pracownik, który po tygodniu z instrukcją obsługi zna procedurę na pamięć i nie musi już do niej zaglądać.

Like an employee who, after a week with the manual, knows the procedure by heart and no longer needs to look it up.

Everyday example

Firmowy czat zachowuje ton i zasady działu obsługi, choć pytania wysyła się do niego bez kilkustronicowego regulaminu.

A company chat keeps the support team's tone and rules even though questions are sent without the multi-page rulebook.

This concerns you if you…

Sources