Rozszerzenie LSTM z wykładniczym bramkowaniem i stabilizacją oraz dwoma blokami: sLSTM (pamięć skalarna z mieszaniem pamięci) i mLSTM (pamięć macierzowa, w pełni zrównoleglalna).
An LSTM extension with exponential gating and stabilisation plus two blocks: sLSTM (scalar memory with memory mixing) and mLSTM (fully parallelisable matrix memory).
Odświeżona wersja klasycznej sieci z pamięcią, przebudowana tak, by dało się ją skalować do rozmiarów współczesnych modeli językowych.
A refreshed version of a classic memory network, rebuilt so it can scale to the size of today's language models.
Starsze sieci z pamięcią uczyły się wolno, krok po kroku, i miały za mało pamięci, by konkurować z dużymi modelami.
Older memory networks trained slowly, step by step, and had too little memory to compete with large models.
Jak zamiana notesu na szafę z szufladami: zamiast jednej liczby na cechę model trzyma całą tabelę skojarzeń i umie zdecydowanie nadpisać stare wpisy.
Like trading a notepad for a chest of drawers: the model keeps a whole table of associations and can firmly overwrite old entries.
Model prognozujący zużycie prądu w mieście przetwarza bardzo długą historię pomiarów, nie zwalniając przy każdym nowym odczycie.
A model forecasting a city's electricity use processes a very long measurement history without slowing down at each new reading.