# Przenoszenie hiperparametrów z małego modelu na duży (μP)

EN: **Maximal update parametrization (μP) and hyperparameter transfer** · id `mup` · aliases: muP, μP, maximal update parametrization, parametryzacja maksymalnej aktualizacji

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Trenowanie i dostrajanie](https://aiatlasgraph.com/t/training.md) › [Proces uczenia](https://aiatlasgraph.com/t/optimization.md) › Przenoszenie hiperparametrów z małego modelu na duży (μP)

## Description

- PL: Parametryzacja sieci, przy której optymalne hiperparametry stroi się na małym modelu i przenosi bez zmian na duży.
- EN: A network parametrisation under which optimal hyperparameters are tuned on a small model and transferred unchanged to a large one.

## In one sentence

- PL: Metoda pozwalająca dobrać ustawienia nauki na małej, taniej wersji modelu i od razu użyć ich w dużej.
- EN: A method for choosing training settings on a small, cheap version of a model and using them straight away on the big one.

## Problem it solves

- PL: Testowanie ustawień treningu na dużym modelu jest tak drogie, że prawie nikogo nie stać na wiele prób.
- EN: Testing training settings on a large model is so expensive that almost nobody can afford many attempts.

## What it does

- PL: Jak próbna degustacja z małego garnka: przy dobrze przeliczonych proporcjach przepis sprawdzi się też w kotle na wesele.
- EN: Like a test tasting from a small pot: with properly scaled proportions, the recipe also works in a wedding-sized cauldron.

## Everyday example

- PL: Laboratorium w jeden dzień sprawdza dziesiątki ustawień na malutkich modelach, a potem trenuje duży model raz, od razu dobrze.
- EN: A lab tries dozens of settings on tiny models in one day, then trains the big model once and gets it right.

## This concerns you if you…

- PL: planujesz trenować modele od zera
- PL: ciekawi cię, jak duże laboratoria oszczędzają na eksperymentach
- EN: plan to train models from scratch
- EN: wonder how large labs save on experiments

## Keywords

muP · muTransfer · μTransfer · Tensor Programs · width scaling · u-muP · CompleteP · hyperparameter transfer · mup library

## How it works

- PL: μP określa, jak skalować inicjalizację, mnożniki wyjść i learning rate poszczególnych warstw wraz z szerokością sieci, by wielkość aktualizacji cech pozostawała stała. Wtedy optimum hiperparametrów jest stabilne względem szerokości: stroi się mały model zastępczy i przenosi wyniki (μTransfer).
- EN: μP specifies how initialisation, output multipliers and per-layer learning rates scale with network width so that feature updates stay a constant size. The hyperparameter optimum then stays stable across width: a small proxy model is tuned and the results transferred (μTransfer).

## Limits

- PL: Gwarancje dotyczą głównie skalowania szerokości; transfer przy zmianie głębokości, długości treningu czy batcha wymaga rozszerzeń. Trzeba zmienić kod modelu, a nie wszystkie hiperparametry, np. regularyzacja, przenoszą się dobrze.
- EN: Guarantees mainly cover width scaling; transfer across depth, training length or batch size needs extensions. Model code must change, and not every hyperparameter, e.g. regularisation, transfers well.

## Key terms

- PL: **parametryzacja**: Reguły, jak skalować wagi i kroki nauki wraz z rozmiarem sieci.
- PL: **model zastępczy**: Mała wersja modelu używana do tanich eksperymentów.
- EN: **parametrisation**: Rules for scaling weights and learning steps with network size.
- EN: **proxy model**: A small version of a model used for cheap experiments.

## Know first

- [Strojenie hiperparametrów (Hyperparameter tuning)](https://aiatlasgraph.com/t/hptuning.md)
- [Prawa skalowania i budżet obliczeń (Scaling laws and compute-optimal training)](https://aiatlasgraph.com/t/scalinglaws.md)

## Related topics

Untyped, symmetric "see also" links.

- [Harmonogram learning rate (rozgrzewka, cosinus, WSD) (Learning-rate schedules)](https://aiatlasgraph.com/t/lrschedules.md)

## Sources

- [Tensor Programs V: Tuning Large Neural Networks via Zero-Shot Hyperparameter Transfer](<https://arxiv.org/abs/2203.03466>) `yang-2022-mup` · by Greg Yang, Edward J. Hu, Igor Babuschkin, Szymon Sidor, Xiaodong Liu, David Farhi, Nick Ryder, Jakub Pachocki, Weizhu Chen, Jianfeng Gao

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/mup · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30