Policzenie, ile pamięci GPU potrzebuje wdrożenie: wagi (liczba parametrów × bajty na parametr w danej precyzji) plus KV cache rosnący z długością kontekstu i liczbą jednoczesnych zapytań, plus zapas na narzut.
Working out how much GPU memory a deployment needs: weights (parameters × bytes per parameter at a given precision) plus a KV cache that grows with context length and concurrent requests, plus headroom for overhead.
To liczenie pamięci potrzebnej na ustawienia modelu, rozmowy i dodatkowe obliczenia.
This calculates memory needed for model parameters, conversations and additional computations.
Model mieści się sam, ale po rozpoczęciu kilku długich rozmów serwerowi kończy się pamięć.
The model fits by itself, but several long conversations exhaust the server's memory.
Szacunek dodaje zapis ustawień, rosnącą pamięć zapytań i zapas na pracę środowiska, uwzględniając format liczb oraz równoczesny ruch.
The estimate combines parameters, growing request memory and runtime overhead, accounting for numerical formats and concurrent traffic.
Przed wyborem karty obliczasz potrzeby modelu i kilku rozmów o maksymalnej długości, zostawiając zapas.
Before choosing a card, you estimate the model and several maximum-length conversations, leaving spare capacity.