Moc obliczeniowa akceleratorów rośnie szybciej niż przepustowość pamięci, dlatego przesyłanie wag i KV cache z HBM może stać się wąskim gardłem. Jest to szczególnie istotne w fazie generowania tokenów przez LLM, zwłaszcza przy małych batchach.
Accelerator compute grows faster than memory bandwidth, so moving weights and KV cache from HBM can become a bottleneck. This is especially important during LLM token generation, particularly at small batch sizes.
To sytuacja, w której obliczenia modelu ogranicza szybkość dostarczania danych z pamięci.
This occurs when the speed of supplying data from memory limits model calculations.
Masz szybki układ obliczeniowy, ale model nadal czeka na dane zamiast wykonywać pracę.
You have a fast computing chip, but the model still waits for data rather than doing useful work.
Potrzebne ustawienia i zapisy rozmowy muszą docierać do obliczeń; gdy przepływ jest za wolny, dodatkowa moc pozostaje niewykorzystana.
Parameters and conversation state must reach the computation units; when data flow is too slow, extra computing capacity remains unused.
Przy generowaniu krótkich odpowiedzi zauważasz, że zmniejszenie zapisu modelu pomaga bardziej niż szybsze jednostki obliczeniowe.
When generating short responses, you find that reducing the model's representation helps more than faster computation units.