Warstwa sekwencyjna, której stan ukryty jest modelem uczonym krokiem samonadzoru także na teście.
A sequence layer whose hidden state is a model updated by a self-supervised step also at test time.
Wewnętrzna pamięć warstwy jest małym modelem, który uczy się na bieżącej sekwencji.
A layer's internal memory is a small model that learns on the current sequence.
Długa sekwencja sprawia, że pełna uwaga jest kosztowna, a model potrzebuje pamięci o liniowym koszcie względem długości.
A long sequence makes full attention costly, while the model needs memory with linear cost in sequence length.
Każdy nowy fragment jest ćwiczeniem dla małego modelu w środku warstwy, a odczyt jest jego przewidywaniem.
Each new fragment is an exercise for the small model inside the layer, and the readout is its prediction.
Przy długiej umowie warstwa dopisuje kolejne klauzule do wewnętrznego modelu, zamiast trzymać cały tekst w uwadze.
On a long contract, the layer writes later clauses into an internal model instead of holding the whole text in attention.