Przewidywalne zależności między rozmiarem modelu, ilością danych, mocą obliczeniową a jakością. Pozwalają zaplanować trening dużego modelu na podstawie małych przebiegów i dobrać proporcję parametrów do tokenów.
Predictable relationships between model size, data, compute and quality. They let you plan a large training run from small ones and choose the ratio of parameters to tokens.
To badanie zależności między wielkością modelu, ilością danych, obliczeniami i osiąganą jakością.
This studies relationships between model size, data volume, computation and achieved quality.
Nie wiesz, jak podzielić ograniczony budżet między większy model a więcej danych treningowych.
You do not know how to split a limited budget between a larger model and more training data.
Wyniki mniejszych treningów pomagają dopasować zależności i przewidzieć większe przebiegi w podobnych warunkach; szacunki wymagają sprawdzenia.
Smaller training runs help fit relationships and predict larger runs under similar conditions; estimates still need checking.
Przed dużym treningiem wykonujesz mniejsze próby, żeby oszacować korzystną proporcję rozmiaru modelu i ilości tekstu.
Before a large training run, you conduct smaller trials to estimate a useful balance between model size and text volume.