Architektura łącząca równoległy trening w stylu transformera z inferencją rekurencyjną o stałym koszcie na token; zbudowana z bloków time-mixing i channel-mixing.
An architecture combining transformer-style parallel training with recurrent inference at constant cost per token; built from time-mixing and channel-mixing blocks.
Model językowy, który uczy się równolegle jak nowoczesne modele, a odpowiada jak dawna sieć z pamięcią w postaci krótkiego podsumowania.
A language model that trains in parallel like modern models but answers like an older network with a short running summary as memory.
Zwykłe modele językowe przy długich rozmowach potrzebują coraz więcej pamięci na każde kolejne słowo.
Ordinary language models need ever more memory for each new word in long conversations.
Jak kronikarz z jednym zeszytem: po każdym zdaniu poprawia zapiski, zamiast trzymać stos wszystkich poprzednich kartek.
Like a chronicler with a single notebook: after each sentence he updates his notes instead of keeping a pile of all past pages.
Zwykły komputer bez mocnej karty graficznej prowadzi długą rozmowę, a zużycie pamięci nie rośnie z każdą wymianą.
An ordinary computer without a strong graphics card holds a long conversation, and memory use does not grow with each exchange.