Miękkie prompty (prompt tuning, prefix tuning)

Soft prompts: prompt and prefix tuning · id softprompts · aliases: soft prompts, prompt tuning, prefix tuning, P-tuning

Model pozostaje zamrożony, a uczy się niewielkiego zestawu ciągłych wektorów. Prompt tuning dodaje je jako wirtualne tokeny przy wejściu, natomiast prefix tuning wprowadza uczone prefiksy do kolejnych warstw uwagi.

The model stays frozen while a small set of continuous vectors is learned. Prompt tuning adds them as virtual input tokens, whereas prefix tuning supplies learned prefixes to successive attention layers.

In one sentence

To uczenie małych liczbowych wskazówek dołączanych do modelu bez zmieniania jego głównych ustawień.

This learns small numerical prompts attached to a model without changing its main parameters.

Problem it solves

Ręcznie pisana instrukcja nie wystarcza do dostosowania modelu, a pełne zmienianie jego ustawień jest kosztowne.

A manually written instruction does not sufficiently adapt a model, while changing its full parameters is costly.

What it does

Trening poprawia wirtualne fragmenty wejścia lub wskazówki w warstwach uwagi, które kierują zachowaniem stałego modelu.

Training updates virtual input elements or attention-layer prefixes that guide a fixed model's behaviour.

Everyday example

Dla sortowania zgłoszeń uczysz krótki zestaw liczbowych wskazówek, zachowując wspólny model bez zmian.

For sorting support requests, you learn a short set of numerical prompts while keeping the shared model unchanged.

This concerns you if you…

Examples

Related topics

Sources