LSTM i GRU — sieci z bramkami pamięci

LSTM and GRU (gated recurrent networks) · id lstmgru · aliases: LSTM, long short-term memory, GRU, gated recurrent unit, gated RNN

Rekurencyjne sieci z mechanizmami bramkującymi, które sterują przepływem i przechowywaniem informacji w stanie ukrytym. LSTM używa osobnego stanu komórki oraz bramek wejścia, zapominania i wyjścia; GRU łączy część tych mechanizmów w prostszej konstrukcji z bramkami resetu i aktualizacji.

Recurrent networks with gating mechanisms that control how information flows into and remains in hidden state. LSTM uses a separate cell state with input, forget and output gates; GRU combines some of these mechanisms in a simpler design with reset and update gates.

In one sentence

To sieci sekwencyjne z bramkami decydującymi, jakie wcześniejsze informacje zachować, zmienić lub zapomnieć.

These sequence networks use gates to decide which earlier information to retain, update or forget.

Problem it solves

Zwykła sieć sekwencyjna może gubić informacje potrzebne wiele kroków później.

A basic sequence network can lose information needed many steps later.

What it does

Wyuczone bramki regulują przepływ do pamięci i z pamięci, pomagając utrzymać wybrane sygnały przez dłuższy czas.

Learned gates regulate information flowing into and out of memory, helping selected signals persist longer.

Everyday example

Model śledzi nagranie wypowiedzi i zachowuje informacje potrzebne do zinterpretowania jej dalszej części.

A model follows a speech recording and retains information needed to interpret later parts.

This concerns you if you…

Examples

Sources