Sieci rekurencyjne (RNN)

Recurrent neural networks (RNN) · id rnn · aliases: RNN, recurrent neural network, sieć rekurencyjna, BPTT, seq2seq

Sieci przetwarzające sekwencję krok po kroku i przenoszące stan ukryty z poprzedniego kroku. Klasyczne RNN mogą mieć trudność z uczeniem długich zależności z powodu zanikających lub eksplodujących gradientów; LSTM i GRU łagodzą ten problem, a transformery zastąpiły RNN w wielu zadaniach tekstowych.

Networks that process a sequence step by step while carrying a hidden state from the previous step. Classical RNNs can struggle to learn long dependencies because gradients vanish or explode; LSTMs and GRUs mitigate the problem, and transformers have replaced RNNs in many text tasks.

In one sentence

To sieć, która przetwarza kolejne elementy danych, przenosząc między nimi skrót wcześniejszych informacji.

This network processes data in sequence, carrying a summary of earlier information between steps.

Problem it solves

Obecny dźwięk lub pomiar może mieć znaczenie dopiero w połączeniu z tym, co wystąpiło wcześniej.

A current sound or measurement may make sense only alongside what came before it.

What it does

Każdy krok aktualizuje wewnętrzny stan na podstawie nowego elementu i poprzedniego stanu, podobnie do bieżącej notatki.

Each step updates an internal state using the new element and previous state, like a running note.

Everyday example

Model analizuje kolejne pomiary zużycia prądu, uwzględniając wcześniejszy przebieg dnia.

A model analyses successive electricity readings while accounting for the earlier course of the day.

This concerns you if you…

Examples

Sources