Przenoszenie hiperparametrów z małego modelu na duży (μP)

Maximal update parametrization (μP) and hyperparameter transfer · id mup · aliases: muP, μP, maximal update parametrization, parametryzacja maksymalnej aktualizacji

Parametryzacja sieci, przy której optymalne hiperparametry stroi się na małym modelu i przenosi bez zmian na duży.

A network parametrisation under which optimal hyperparameters are tuned on a small model and transferred unchanged to a large one.

In one sentence

Metoda pozwalająca dobrać ustawienia nauki na małej, taniej wersji modelu i od razu użyć ich w dużej.

A method for choosing training settings on a small, cheap version of a model and using them straight away on the big one.

Problem it solves

Testowanie ustawień treningu na dużym modelu jest tak drogie, że prawie nikogo nie stać na wiele prób.

Testing training settings on a large model is so expensive that almost nobody can afford many attempts.

What it does

Jak próbna degustacja z małego garnka: przy dobrze przeliczonych proporcjach przepis sprawdzi się też w kotle na wesele.

Like a test tasting from a small pot: with properly scaled proportions, the recipe also works in a wedding-sized cauldron.

Everyday example

Laboratorium w jeden dzień sprawdza dziesiątki ustawień na malutkich modelach, a potem trenuje duży model raz, od razu dobrze.

A lab tries dozens of settings on tiny models in one day, then trains the big model once and gets it right.

This concerns you if you…

Related topics

Sources