# Trening w mieszanej precyzji (FP16, BF16, FP8)

EN: **Mixed-precision training** · id `mixedprecision` · aliases: mixed precision, AMP, BF16, FP8 training, mieszana precyzja

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Trenowanie i dostrajanie](https://aiatlasgraph.com/t/training.md) › [Proces uczenia](https://aiatlasgraph.com/t/optimization.md) › Trening w mieszanej precyzji (FP16, BF16, FP8)

## Description

- PL: Liczenie większości operacji w krótszych formatach liczb przy zachowaniu kluczowych wartości w pełnej precyzji. Zmniejsza zużycie pamięci i przyspiesza trening na nowoczesnych GPU.
- EN: Running most operations in shorter number formats while keeping key values in full precision. It cuts memory use and speeds up training on modern GPUs.

## In one sentence

- PL: To trening wykorzystujący różną dokładność zapisu liczb dla różnych części obliczeń.
- EN: This trains models using different numerical precision for different parts of the computation.

## Problem it solves

- PL: Pełna dokładność wszystkich liczb zajmuje dużo pamięci i może niepotrzebnie spowalniać trening.
- EN: Full precision for every number consumes substantial memory and can unnecessarily slow training.

## What it does

- PL: Wiele operacji korzysta z krótszego zapisu, a wrażliwe wartości zachowują większą dokładność, ograniczając błędy i koszt tam, gdzie to możliwe.
- EN: Many operations use shorter formats while sensitive values retain greater precision, limiting errors and reducing costs where possible.

## Everyday example

- PL: W treningu modelu zdjęć używasz krótszych liczb do mnożenia, ale zachowujesz dokładniejszy zapis ważnych aktualizacji.
- EN: When training an image model, you use shorter numbers for multiplication but retain more precise representations for important updates.

## This concerns you if you…

- PL: trening potrzebuje zbyt dużo pamięci
- PL: sprzęt szybciej liczy w krótszych formatach
- EN: find training needs too much memory
- EN: use hardware faster with shorter numerical formats

## Keywords

bf16 · fp16 · FP8 training · loss scaling · torch.autocast · Transformer Engine · master weights

## How it works

- PL: Operatory korzystają z krótszych formatów, podczas gdy wrażliwe akumulacje lub stan zachowują większą dokładność. Skalowanie straty i kontrola zakresów mogą ograniczać zanik małych gradientów, a konwersje łączą etapy używające różnych precyzji.
- EN: Operators use shorter formats while sensitive accumulations or state retain greater precision. Loss scaling and range checks can reduce tiny-gradient underflow, while conversions connect stages using different precisions.

## Limits

- PL: Potrzeba skalowania zależy od formatu i jego zakresu. Przepełnienie, zaokrąglenia i konwersje wpływają na stabilność; przyspieszenie wymaga sprzętu oraz kerneli obsługujących wybraną ścieżkę.
- EN: Scaling needs depend on format range. Overflow, rounding and conversions affect stability; acceleration needs hardware and kernels supporting the selected path.

## Key terms

- PL: **loss scaling**: Przeskalowanie straty i odtworzenie gradientu, ograniczające utratę małych wartości.
- PL: **underflow**: Utrata wartości zbyt małej do reprezentacji w użytym formacie.
- EN: **loss scaling**: Rescaling loss and restoring gradients to limit loss of tiny values.
- EN: **underflow**: Loss of values too small for the numerical format.

## Know first

- [Rdzenie tensorowe i niska precyzja (Tensor cores and low precision)](https://aiatlasgraph.com/t/tensorcores.md)
- [Propagacja wsteczna (backpropagation) (Backpropagation)](https://aiatlasgraph.com/t/backprop.md)

## Examples

- PL: kopia wag w FP32 · skalowanie straty · BF16 · trening w FP8
- EN: FP32 master weights · loss scaling · BF16 · FP8 training

## Related topics

Untyped, symmetric "see also" links.

- [Oszczędzanie pamięci podczas treningu (Memory-efficient training)](https://aiatlasgraph.com/t/memefficienttraining.md)
- [Rdzenie tensorowe i niska precyzja (Tensor cores and low precision)](https://aiatlasgraph.com/t/tensorcores.md)

## Sources

- [Mixed Precision Training](<https://arxiv.org/abs/1710.03740>) `mixed-precision-2017` · by Paulius Micikevicius, Sharan Narang, Jonah Alben i in. (NVIDIA, Baidu)
- [FP8-LM: Training FP8 Large Language Models](<https://arxiv.org/abs/2310.18313>) `fp8-lm-2023` · by Houwen Peng, Kan Wu, Yixuan Wei i in. (Microsoft)
- [A Study of BFLOAT16 for Deep Learning Training](<https://arxiv.org/abs/1905.12322>) `kalamkar-bfloat16-2019` · by Dhiraj Kalamkar, Dheevatsa Mudigere, Naveen Mellempudi i in.

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/mixedprecision · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30