Katastrofalne zapominanie i jego ograniczanie

Catastrophic forgetting and its mitigation · id forgetting · aliases: catastrophic forgetting, EWC, elastic weight consolidation, replay, zapominanie

Podczas uczenia nowych danych lub zadań sieć może tracić wcześniejsze umiejętności. Metody ograniczania tego zjawiska obejmują m.in. powtarzanie dawnych danych, ochronę ważnych wag i zmniejszanie zakresu aktualizacji.

While learning new data or tasks, a network may lose earlier capabilities. Mitigation methods include replaying earlier data, protecting important weights and reducing the scope of parameter updates.

In one sentence

To utrata wcześniejszych umiejętności podczas nauki nowych zadań oraz sposoby ograniczania tej utraty.

This concerns losing earlier abilities while learning new tasks and ways to limit that loss.

Problem it solves

Po dostrojeniu do nowego zadania model gorzej wykonuje czynności, które wcześniej robił poprawnie.

After adaptation to a new task, a model performs previously successful tasks less well.

What it does

Powtarzanie starych danych, ochrona ważnych ustawień i ograniczanie aktualizacji pomagają zachować wcześniejsze umiejętności; potrzebne są testy obu zestawów zadań.

Revisiting old data, protecting important parameters and limiting updates help retain earlier abilities; both old and new tasks need testing.

Everyday example

Po nauce nowych kategorii zgłoszeń ponownie sprawdzasz stare przykłady, żeby model nie przestał ich rozpoznawać.

After learning new request categories, you retest old examples to check the model still recognises them.

This concerns you if you…

Examples

Related topics

Sources