Modyfikacje uwagi wielogłowicowej ograniczające pamięć KV cache i koszt generowania: MQA współdzieli jeden zestaw kluczy i wartości między głowami, GQA — między grupami głów, a MLA kompresuje reprezentacje kluczy i wartości do przestrzeni ukrytej.
Multi-head attention variants that reduce KV-cache memory and generation cost: MQA shares one set of keys and values across heads, GQA shares them across groups of heads, and MLA compresses key-value representations into a latent space.
To zmiany mechanizmu uwagi zmniejszające pamięć potrzebną do przechowywania wcześniej przetworzonego tekstu.
These attention changes reduce the memory needed to store previously processed text.
Długie rozmowy zajmują dużo pamięci i ograniczają liczbę osób obsługiwanych jednocześnie.
Long conversations occupy substantial memory and limit how many people can be served at once.
Części uwagi współdzielą wybrane zapisy albo przechowują je w skompresowanej postaci, zamiast utrzymywać osobne pełne kopie.
Attention components share selected representations or store compressed versions rather than keeping separate full copies.
Wybierasz model z oszczędniejszą uwagą, żeby serwer mógł prowadzić więcej długich rozmów.
You choose a model with memory-saving attention so a server can handle more long conversations.