Połączenia skrótowe dodające wejście bloku do jego wyjścia, dzięki czemu warstwa może uczyć się korekty względem reprezentacji wejściowej. Umożliwiły skuteczne trenowanie bardzo głębokich ResNetów i są powszechnym składnikiem wielu współczesnych głębokich architektur, w tym transformerów.
Shortcut connections that add a block's input to its output, allowing the layer to learn a correction relative to the input representation. They enabled effective training of very deep ResNets and are a common component of many modern deep architectures, including transformers.
To połączenia, które pozwalają informacji ominąć część warstw sieci i dołączyć do ich wyniku.
These connections let information bypass some network layers and join their output.
W bardzo głębokiej sieci informacje i sygnały potrzebne do uczenia mogą trudno docierać przez kolejne warstwy.
In very deep networks, information and learning signals can struggle to travel through successive layers.
Blok dodaje wyuczoną zmianę do swojego wejścia, dzięki czemu może uczyć się korekty zamiast całego przekształcenia od początku.
A block adds a learned adjustment to its input, letting it learn a correction rather than the whole transformation from scratch.
Budujesz głęboki model obrazu z drogami na skróty między warstwami, żeby ułatwić jego trening.
You build a deep image model with shortcuts between layers to make it easier to train.