# Regularyzacja sieci: dropout i weight decay

EN: **Neural network regularisation: dropout and weight decay** · id `nnregularization` · aliases: dropout, weight decay, regularyzacja, regularization, early stopping, wczesne zatrzymanie

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Sieci i modele generatywne](https://aiatlasgraph.com/t/neural.md) › [Podstawy sieci neuronowych](https://aiatlasgraph.com/t/neuralbasics.md) › Regularyzacja sieci: dropout i weight decay

## Description

- PL: Techniki ograniczające przeuczenie głębokich sieci. Dropout losowo wyłącza neurony podczas treningu, weight decay karze duże wagi; do tej rodziny należą też wczesne zatrzymanie i augmentacja danych.
- EN: Techniques that curb overfitting in deep networks. Dropout randomly switches off units during training; weight decay penalises large weights; early stopping and data augmentation belong to the same family.

## In one sentence

- PL: To sposoby utrudniające sieci zapamiętanie przykładów zamiast nauczenia się wzorów przydatnych na nowych danych.
- EN: These methods discourage a network from memorising examples instead of learning patterns useful on new data.

## Problem it solves

- PL: Model świetnie zna ćwiczenia treningowe, ale myli się na zdjęciach lub tekstach, których wcześniej nie widział.
- EN: A model handles training examples well but makes mistakes on photos or texts it has not seen before.

## What it does

- PL: Trening może losowo wyłączać część sygnałów, ograniczać wielkość ustawień lub zatrzymywać naukę, gdy dalsze poprawki szkodzą nowym przykładom.
- EN: Training can randomly disable connections, limit parameter sizes or stop learning when further updates harm performance on held-out examples.

## Everyday example

- PL: Model kwiatów dostaje podczas treningu różne ujęcia i ograniczenia, a ty sprawdzasz go na nowych zdjęciach.
- EN: A flower model receives varied views and training constraints, and you test it on new photos.

## This concerns you if you…

- PL: model zapamiętuje mały zbiór danych
- PL: chcesz lepszych wyników na nowych przykładach
- EN: find a model memorises a small dataset
- EN: want better results on new examples

## Keywords

dropout · weight decay · early stopping · data augmentation · stochastic depth

## How it works

- PL: Dropout losowo maskuje aktywacje w treningu, ograniczając stałą współzależność jednostek. Weight decay zmniejsza wagi podczas aktualizacji, a walidacja steruje siłą ograniczeń i momentem zakończenia uczenia.
- EN: Dropout randomly masks training activations, limiting persistent unit co-dependence. Weight decay shrinks weights during updates, while validation guides constraint strength and when training stops.

## Limits

- PL: Zbyt silna regularyzacja prowadzi do niedouczenia. Dropout zmienia zachowanie między treningiem i inferencją; kara kwadratowa i oddzielony weight decay nie są równoważne dla wszystkich optymalizatorów.
- EN: Excessive regularisation causes underfitting. Dropout changes behaviour between training and inference; quadratic penalties and decoupled weight decay are not equivalent for every optimiser.

## Key terms

- PL: **dropout**: Losowe wyłączanie części aktywacji podczas treningu.
- PL: **weight decay**: Zmniejszanie wag w kolejnych aktualizacjach modelu.
- EN: **dropout**: Randomly disabling some activations during training.
- EN: **weight decay**: Shrinking weights across successive model updates.

## Know first

- [Przeuczenie, niedouczenie i regularyzacja (Overfitting, underfitting and regularisation)](https://aiatlasgraph.com/t/biasvariance.md)
- [Walidacja krzyżowa (Cross-validation)](https://aiatlasgraph.com/t/crossval.md)

## Examples

- PL: dropout · weight decay (L2) · wczesne zatrzymanie · augmentacja danych
- EN: dropout · weight decay (L2) · early stopping · data augmentation

## Related topics

Untyped, symmetric "see also" links.

- [Przeuczenie, niedouczenie i regularyzacja (Overfitting, underfitting and regularisation)](https://aiatlasgraph.com/t/biasvariance.md)

## Sources

- [Dive into Deep Learning — table of contents](<https://d2l.ai/>) `d2l-toc` · by Aston Zhang, Zachary C. Lipton, Mu Li, Alexander J. Smola
- [Understanding Deep Learning (Simon J.D. Prince) — chapter list](<https://udlbook.github.io/udlbook/>) `udlbook-toc` · by Simon J.D. Prince
- [Dropout: A Simple Way to Prevent Neural Networks from Overfitting](<https://jmlr.org/papers/v15/srivastava14a.html>) `dropout-2014` · by Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/nnregularization · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30