Rodzina modeli sekwencyjnych, które aktualizują stan o stałym rozmiarze zamiast przechowywać pełną macierz uwagi lub KV cache. Mamba wprowadza selektywny, zależny od wejścia mechanizm stanu; autorzy raportują liniowe skalowanie względem długości sekwencji i konkurencyjne wyniki na kilku modalnościach.
A family of sequence models that update a fixed-size state instead of storing a full attention matrix or KV cache. Mamba introduces a selective, input-dependent state mechanism; its authors report linear scaling with sequence length and competitive results across several modalities.
To modele sekwencji, które aktualizują zwarty stan opisujący wcześniejsze informacje.
These sequence models update a compact state representing earlier information.
Przechowywanie i porównywanie całej historii danych staje się zbyt kosztowne, gdy sekwencja rośnie.
Storing and comparing the full data history becomes too costly as a sequence grows.
Każdy nowy element zmienia stan o ustalonym rozmiarze; wybrane konstrukcje uczą się, które informacje przekazywać dalej, a które pomijać.
Each new element updates a fixed-size state; selected designs learn which information to carry forward and which to discard.
Model przetwarza długie nagranie, aktualizując pamięć kolejnych dźwięków bez tworzenia pełnej tabeli ich wzajemnych powiązań.
A model processes a long recording, updating sound-history state without constructing a full table of relationships between all elements.