Ewolucyjne łączenie modeli

Evolutionary model merging · id evolutionarymerge · aliases: evolutionary model merge, merge recipe search, layer stacking

Algorytm ewolucyjny przeszukuje możliwe proporcje wag lub sposoby składania warstw zamiast polegać na jednym ręcznie dobranym przepisie. W pracy źródłowej pokazano również łączenie modeli wyspecjalizowanych w różnych dziedzinach.

An evolutionary algorithm searches weight mixtures or layer compositions instead of relying on one hand-designed recipe. The source paper also demonstrates merging models specialised in different domains.

In one sentence

To automatyczne szukanie dobrego przepisu na połączenie modeli przez kolejne próby i wybór lepszych wariantów.

This automatically searches for a useful model-merging recipe through successive trials and selection of better variants.

Problem it solves

Możliwych proporcji i układów modeli jest zbyt wiele, żeby ręcznie sprawdzić każdy przepis.

There are too many possible model proportions and arrangements to check every recipe by hand.

What it does

Algorytm zmienia przepisy łączenia, ocenia powstałe modele i rozwija lepiej wypadające kombinacje, podobnie do selekcji kolejnych pokoleń.

An algorithm varies merging recipes, evaluates the resulting models and develops stronger combinations, like selection across successive generations.

Everyday example

Program próbuje różnych proporcji zgodnych wariantów i wybiera te, które lepiej radzą sobie z przygotowanymi zadaniami.

Software tries different proportions of compatible variants and selects those performing better on prepared tasks.

This concerns you if you…

Examples

Related topics

Sources