Pamięć podręczna atencji przy generowaniu: stronicowanie, współdzielenie, kompresja.
The attention cache during generation: paging, sharing, compression.
To przechowywanie części wcześniejszych obliczeń uwagi, żeby model nie powtarzał ich przy każdym nowym fragmencie odpowiedzi.
This stores earlier attention computations so a model need not repeat them for every new response element.
Długa rozmowa wymaga coraz więcej pamięci, a jej ponowne przeliczanie przy każdym słowie byłoby kosztowne.
A long conversation needs growing memory, while recomputing it for every word would be costly.
Zapisy można dzielić na bloki, współdzielić dla zgodnych początków lub kompresować, kontrolując zajęte miejsce i wpływ zmian na wynik.
Cached representations can be blocked, shared for matching prefixes or compressed, while monitoring memory use and effects on results.
Serwer zachowuje obliczenia wcześniejszego tekstu i przy dalszej odpowiedzi wykorzystuje je zamiast liczyć wszystko od początku.
A server keeps earlier text computations and reuses them for later response elements instead of recalculating everything.