# Katastrofalne zapominanie i jego ograniczanie

EN: **Catastrophic forgetting and its mitigation** · id `forgetting` · aliases: catastrophic forgetting, EWC, elastic weight consolidation, replay, zapominanie

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Trenowanie i dostrajanie](https://aiatlasgraph.com/t/training.md) › [Uczenie ciągłe i transfer](https://aiatlasgraph.com/t/continual.md) › Katastrofalne zapominanie i jego ograniczanie

## Description

- PL: Podczas uczenia nowych danych lub zadań sieć może tracić wcześniejsze umiejętności. Metody ograniczania tego zjawiska obejmują m.in. powtarzanie dawnych danych, ochronę ważnych wag i zmniejszanie zakresu aktualizacji.
- EN: While learning new data or tasks, a network may lose earlier capabilities. Mitigation methods include replaying earlier data, protecting important weights and reducing the scope of parameter updates.

## In one sentence

- PL: To utrata wcześniejszych umiejętności podczas nauki nowych zadań oraz sposoby ograniczania tej utraty.
- EN: This concerns losing earlier abilities while learning new tasks and ways to limit that loss.

## Problem it solves

- PL: Po dostrojeniu do nowego zadania model gorzej wykonuje czynności, które wcześniej robił poprawnie.
- EN: After adaptation to a new task, a model performs previously successful tasks less well.

## What it does

- PL: Powtarzanie starych danych, ochrona ważnych ustawień i ograniczanie aktualizacji pomagają zachować wcześniejsze umiejętności; potrzebne są testy obu zestawów zadań.
- EN: Revisiting old data, protecting important parameters and limiting updates help retain earlier abilities; both old and new tasks need testing.

## Everyday example

- PL: Po nauce nowych kategorii zgłoszeń ponownie sprawdzasz stare przykłady, żeby model nie przestał ich rozpoznawać.
- EN: After learning new request categories, you retest old examples to check the model still recognises them.

## This concerns you if you…

- PL: aktualizujesz model kolejnymi zadaniami
- PL: zależy ci na zachowaniu dawnych umiejętności
- EN: update a model with successive tasks
- EN: need earlier abilities to be retained

## Keywords

EWC · experience replay · rehearsal · LwF · regularization-based continual learning · replay data mixing

## How it works

- PL: Nowe gradienty zmieniają parametry używane także przez wcześniejsze zadania, pogarszając ich reprezentacje lub odpowiedzi. Replay, kary za zmianę ważnych wag i rozdzielenie aktualizacji próbują zachować te funkcje podczas nauki nowego rozkładu.
- EN: New gradients change parameters shared with earlier tasks, degrading their representations or outputs. Replay, penalties on changing important weights and separate updates aim to preserve those functions while learning new distributions.

## Limits

- PL: Nie każda utrata wyniku oznacza trwałe usunięcie wiedzy; zmiana formatu może maskować zdolność. Ograniczanie aktualizacji utrudnia adaptację, a replay wymaga dostępu do reprezentatywnych danych.
- EN: Not every score decrease means permanent knowledge removal; format changes can mask capabilities. Constraining updates hinders adaptation, while replay needs access to representative data.

## Key terms

- PL: **stabilność i plastyczność**: Kompromis między zachowaniem dawnych zdolności a uczeniem nowych.
- PL: **ważność parametru**: Ocena, jak silnie zmiana wagi wpływa na wcześniejsze zadania.
- EN: **stability and plasticity**: The trade-off between retaining earlier abilities and learning new ones.
- EN: **parameter importance**: An estimate of how strongly a weight change affects earlier tasks.

## Know first

- [Propagacja wsteczna (backpropagation) (Backpropagation)](https://aiatlasgraph.com/t/backprop.md)
- [Zbiory testowe i regresje (Evaluation datasets and regression tests)](https://aiatlasgraph.com/t/evalsets.md)

## Examples

- PL: powtórki danych (replay) · EWC · mniejsze zmiany wag przez PEFT · regularyzacja w stronę modelu bazowego
- EN: data replay · EWC · smaller weight changes via PEFT · regularising toward the base model

## Related topics

Untyped, symmetric "see also" links.

- [Destylacja on-policy (uczeń generuje, nauczyciel ocenia) (On-policy distillation)](https://aiatlasgraph.com/t/onpolicydistill.md)
- [LoRA (Low-rank adaptation)](https://aiatlasgraph.com/t/lora.md)

## Sources

- [On-Policy Distillation](<https://thinkingmachines.ai/blog/on-policy-distillation/>) `tm-onpolicy-distill-2025` · by Kevin Lu i zespół Thinking Machines Lab
- [Overcoming catastrophic forgetting in neural networks](<https://arxiv.org/abs/1612.00796>) `ewc-2017` · by James Kirkpatrick, Razvan Pascanu, Neil Rabinowitz i in. (DeepMind)
- [LoRA Learns Less and Forgets Less](<https://arxiv.org/abs/2405.09673>) `lora-forgets-less-2024` · by Dan Biderman, Jacob Portes, Jose Javier Gonzalez Ortiz i in. (głównie Databricks)
- [Continual Learning for Large Language Models: A Survey](<https://arxiv.org/abs/2402.01364>) `continual-llm-survey-2024` · by Tongtong Wu, Linhao Luo, Yuan-Fang Li i in.

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/forgetting · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30