Uśrednianie i interpolacja wag (model soups, SLERP)

Weight averaging and interpolation · id weightaveraging · aliases: model soups, weight averaging, SLERP, linear merge

Łączenie kilku wersji dostrojonych z tego samego modelu bazowego przez uśrednienie lub płynną interpolację ich wag. Często poprawia jakość i odporność bez dodatkowego kosztu przy uruchamianiu.

Combining several fine-tunes of the same base model by averaging or smoothly interpolating their weights. Often improves quality and robustness at no extra inference cost.

In one sentence

To mieszanie ustawień kilku zgodnych wersji modelu przez uśrednianie lub wybór wartości pomiędzy nimi.

This mixes parameters from compatible model versions through averaging or interpolation between them.

Problem it solves

Kilka wersji ma dobre wyniki, a wybór jednej może odrzucić przydatne cechy pozostałych.

Several versions perform well, and selecting only one may discard useful qualities of the others.

What it does

Odpowiadające sobie ustawienia są łączone w jedną wersję; zgodność modeli i dobór proporcji wpływają na jakość, którą trzeba sprawdzić.

Corresponding parameters are combined into one version; compatibility and mixing proportions affect quality, which must be checked.

Everyday example

Po kilku dostrojeniach tego samego modelu próbujesz uśrednić wybrane wersje i porównujesz wynik na nowych zgłoszeniach.

After several adaptations of the same model, you try averaging selected versions and compare results on new requests.

This concerns you if you…

Examples

Related topics

Sources