Nieliniowe funkcje nakładane na wyjście neuronu — bez nich złożenie warstw liniowych pozostaje przekształceniem liniowym. ReLU jest powszechna w sieciach wizyjnych; w transformerach często stosuje się GELU oraz bramkowane warianty, takie jak SwiGLU, w blokach feed-forward.
Non-linear functions applied to neuron outputs — without them, a composition of linear layers remains a linear transformation. ReLU is common in vision networks; transformers often use GELU and gated variants such as SwiGLU in feed-forward blocks.
To reguły zmieniające sygnały w sieci, żeby mogła uczyć się bardziej złożonych zależności.
These rules transform network signals so it can learn more complex relationships.
Samo mnożenie i dodawanie liczb nie wystarcza do opisania wielu wzorów spotykanych w danych.
Multiplying and adding numbers alone cannot describe many patterns found in data.
Działają jak nieliniowe przełączniki lub bramki: niektóre sygnały tłumią, inne przepuszczają albo zmieniają ich siłę.
They act like nonlinear switches or gates, suppressing some signals, passing others or changing their strength.
Podczas uczenia modelu zdjęć warstwa może inaczej reagować na słabą krawędź niż na mocny kontur.
While an image model learns, a layer can respond differently to a faint edge and a strong outline.