Warstwy przeskalowujące aktywacje, które często ułatwiają stabilny trening głębokich sieci. BatchNorm używa statystyk mini-batcha i jest typowy dla CNN; LayerNorm normalizuje cechy pojedynczego przykładu i jest powszechny w transformerach; RMSNorm upraszcza LayerNorm i jest często stosowany w nowszych LLM, zwykle w układzie pre-norm.
Layers that rescale activations and often help stabilise deep-network training. BatchNorm uses mini-batch statistics and is typical in CNNs; LayerNorm normalises features within one example and is common in transformers; RMSNorm simplifies LayerNorm and is often used in newer LLMs, usually in a pre-norm layout.
To przeskalowywanie sygnałów wewnątrz sieci, żeby łatwiej było ją uczyć.
This rescales signals inside a network to make training easier.
Sygnały w kolejnych warstwach mogą mieć bardzo różne wielkości, co utrudnia stabilne poprawianie modelu.
Signals across layers can have very different magnitudes, making stable model updates harder.
Wybrane grupy wartości są sprowadzane do porównywalnej skali, a dodatkowe ustawienia pozwalają modelowi dostosować ich zakres.
Selected groups of values are brought to comparable scales, with additional settings letting the model adjust their range.
Podczas treningu głębokiej sieci dodajesz warstwy przeskalowujące sygnały i sprawdzasz, czy uczenie przebiega stabilniej.
When training a deep network, you add layers that rescale signals and check whether learning becomes more stable.