# Prawa skalowania i budżet obliczeń

EN: **Scaling laws and compute-optimal training** · id `scalinglaws` · aliases: scaling laws, Chinchilla, compute-optimal training, prawa skalowania

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Trenowanie i dostrajanie](https://aiatlasgraph.com/t/training.md) › [Trening od zera / pretraining](https://aiatlasgraph.com/t/pretraining.md) › Prawa skalowania i budżet obliczeń

## Description

- PL: Przewidywalne zależności między rozmiarem modelu, ilością danych, mocą obliczeniową a jakością. Pozwalają zaplanować trening dużego modelu na podstawie małych przebiegów i dobrać proporcję parametrów do tokenów.
- EN: Predictable relationships between model size, data, compute and quality. They let you plan a large training run from small ones and choose the ratio of parameters to tokens.

## In one sentence

- PL: To badanie zależności między wielkością modelu, ilością danych, obliczeniami i osiąganą jakością.
- EN: This studies relationships between model size, data volume, computation and achieved quality.

## Problem it solves

- PL: Nie wiesz, jak podzielić ograniczony budżet między większy model a więcej danych treningowych.
- EN: You do not know how to split a limited budget between a larger model and more training data.

## What it does

- PL: Wyniki mniejszych treningów pomagają dopasować zależności i przewidzieć większe przebiegi w podobnych warunkach; szacunki wymagają sprawdzenia.
- EN: Smaller training runs help fit relationships and predict larger runs under similar conditions; estimates still need checking.

## Everyday example

- PL: Przed dużym treningiem wykonujesz mniejsze próby, żeby oszacować korzystną proporcję rozmiaru modelu i ilości tekstu.
- EN: Before a large training run, you conduct smaller trials to estimate a useful balance between model size and text volume.

## This concerns you if you…

- PL: planujesz kosztowny trening
- PL: wybierasz proporcje danych, modelu i obliczeń
- EN: plan costly training
- EN: choose a balance of data, model size and computation

## Keywords

Chinchilla · Kaplan scaling laws · power-law loss · tokens-to-parameters ratio · compute-optimal allocation · IsoFLOP curves · WSD schedules

## How it works

- PL: Małe przebiegi mierzą stratę przy różnych rozmiarach modelu, ilościach danych i budżetach. Dopasowana zależność empiryczna przewiduje kompromisy w podobnej recepturze, pozwalając wybrać podział obliczeń przed kosztownym treningiem.
- EN: Small runs measure loss across model sizes, data volumes and budgets. Fitted empirical relationships predict trade-offs within similar recipes, guiding compute allocation before expensive training.

## Limits

- PL: Ekstrapolacja zależy od jakości danych, architektury i zakresu pomiarów. Mniejsze straty nie określają wszystkich zdolności użytkowych; zmiana receptury może unieważnić dopasowanie i optymalny podział budżetu.
- EN: Extrapolation depends on data quality, architecture and measurement ranges. Lower losses cannot specify every practical capability; recipe changes can invalidate fits and optimal budget allocations.

## Key terms

- PL: **prawo empiryczne**: Dopasowana zależność opisująca wyniki pomiarów w określonych warunkach.
- PL: **alokacja compute-optimal**: Podział obliczeń między rozmiar modelu i dane dla wybranego celu.
- EN: **empirical law**: A fitted relationship describing measurements under specified conditions.
- EN: **compute-optimal allocation**: Allocating computation between model size and data for a chosen objective.

## Know first

- [Estymacja parametrów (największa wiarygodność) (Parameter estimation (maximum likelihood, MAP))](https://aiatlasgraph.com/t/mle.md)
- [Niepewność statystyczna wyników ewaluacji (Statistical uncertainty in evaluations)](https://aiatlasgraph.com/t/evalstats.md)

## Examples

- PL: potęgowe prawa straty · proporcje „Chinchilli” · ekstrapolacja z małych modeli
- EN: power-law loss curves · Chinchilla ratios · extrapolating from small models

## Related topics

Untyped, symmetric "see also" links.

- [Harmonogram learning rate (rozgrzewka, cosinus, WSD) (Learning-rate schedules)](https://aiatlasgraph.com/t/lrschedules.md)
- [Obliczenia w czasie wnioskowania (Test-time compute scaling)](https://aiatlasgraph.com/t/testtime.md)
- [Podwójne zejście (Double descent)](https://aiatlasgraph.com/t/doubledescent.md)

## Sources

- [Scaling Laws for Neural Language Models](<https://arxiv.org/abs/2001.08361>) `kaplan-scaling-2020` · by Jared Kaplan, Sam McCandlish, Tom Henighan i in. (OpenAI)
- [Training Compute-Optimal Large Language Models](<https://arxiv.org/abs/2203.15556>) `hoffmann-chinchilla-2022` · by Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch i in. (DeepMind)
- [Scaling Laws and Compute-Optimal Training Beyond Fixed Training Durations](<https://arxiv.org/abs/2405.18392>) `wsd-hagele-2024` · by Alexander Hägele, Elie Bakouch, Atli Kosson i in. (EPFL / Hugging Face)

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/scalinglaws · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30