# Załamanie modelu na danych syntetycznych

EN: **Model collapse from synthetic data** · id `modelcollapse` · aliases: model collapse, recursive training

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Dane dla AI](https://aiatlasgraph.com/t/data.md) › [Dane syntetyczne i augmentacja](https://aiatlasgraph.com/t/synthetic.md) › Załamanie modelu na danych syntetycznych

## Description

- PL: Ryzyko, że modele trenowane rekurencyjnie na treściach generowanych przez wcześniejsze modele tracą informacje o pierwotnym rozkładzie danych, zaczynając od rzadkich przypadków.
- EN: The risk that models trained recursively on content generated by earlier models lose information about the original data distribution, beginning with rare cases.

## In one sentence

- PL: To ryzyko pogorszenia modeli uczonych kolejno na treściach wytworzonych przez wcześniejsze modele.
- EN: This is the risk of degradation when successive models learn from content produced by earlier models.

## Problem it solves

- PL: Rzadkie sytuacje mogą znikać z materiału do nauki, a odpowiedzi coraz gorzej oddawać różnorodność rzeczywistości.
- EN: Rare situations may disappear from learning material, and answers may represent the variety of real life less well.

## What it does

- PL: Kolejne pokolenia modeli mogą powielać częste wzorce poprzedników, stopniowo gubiąc mniej typowe przypadki.
- EN: Successive generations can repeat their predecessors' common patterns while gradually losing less typical cases.

## Everyday example

- PL: Kolejne wersje asystenta uczą się głównie z odpowiedzi poprzedników i mogą coraz gorzej obsługiwać nietypowe reklamacje.
- EN: Successive assistant versions learn mostly from earlier versions' replies and may become worse at handling unusual complaints.

## This concerns you if you…

- PL: zastępujesz prawdziwe przykłady odpowiedziami modelu
- PL: uczysz kolejne modele na treściach ich poprzedników
- EN: replace real examples with model answers
- EN: train successive models on their predecessors' content

## Keywords

recursive training · distribution tails · synthetic data feedback · mode dropping · real-data retention

## How it works

- PL: Kolejne modele uczą się na próbkach wygenerowanych przez poprzedników, zamiast z pełnego rozkładu źródłowego. Błędy estymacji i skończone próbkowanie mogą kumulować utratę rzadkich przypadków oraz zmniejszać różnorodność.
- EN: Successive models learn from samples generated by predecessors rather than the full source distribution. Estimation errors and finite sampling can compound the loss of rare cases and reduce diversity.

## Limits

- PL: Nie jest to nieuchronny skutek każdego użycia danych syntetycznych. Ryzyko zależy od mieszanki, filtracji i zachowania danych rzeczywistych; poprawa średniej jakości może ukrywać utratę ogonów rozkładu.
- EN: This is not an inevitable result of every synthetic-data use. Risk depends on mixing, filtering and retaining real data; average quality improvements can hide distribution-tail losses.

## Key terms

- PL: **rekursywny trening**: Uczenie kolejnych generacji modeli na danych wytworzonych przez wcześniejsze generacje.
- PL: **ogon rozkładu**: Rzadkie zdarzenia łatwo pomijane przy ograniczonym próbkowaniu.
- EN: **recursive training**: Training successive model generations on data produced by earlier generations.
- EN: **distribution tail**: Rare events easily missed by limited sampling.

## Know first

- [Rozkłady prawdopodobieństwa (Probability distributions)](https://aiatlasgraph.com/t/distributions.md)
- [Dobór mieszanki danych (DoReMi, RegMix) (Data mixture optimisation)](https://aiatlasgraph.com/t/datamixing.md)

## Examples

- PL: Zanikanie ogonów rozkładu · rekurencyjne trenowanie · zachowanie danych pochodzących od ludzi
- EN: Distribution-tail loss · recursive training · preserving human-originated data

## Related topics

Untyped, symmetric "see also" links.

- [Syntetyczne dane do pretrainingu (przepisywanie, podręczniki) (Synthetic pretraining data: rephrasing and textbooks)](https://aiatlasgraph.com/t/pretrainsynthetic.md)

## Sources

- [AI models collapse when trained on recursively generated data](<https://www.nature.com/articles/s41586-024-07566-y>) `model-collapse-nature-2024` · by Ilia Shumailov, Zakhar Shumaylov, Yiren Zhao, Nicolas Papernot, Ross Anderson, Yarin Gal
- [Best Practices and Lessons Learned on Synthetic Data](<https://arxiv.org/abs/2404.07503>) `synthetic-data-best-practices-2024` · by Ruibo Liu, Jerry Wei, Fangyu Liu, Chenglei Si, Yanzhe Zhang, Jinmeng Rao, Steven Zheng, Daiyi Peng, Diyi Yang, Denny Zhou, Andrew M. Dai

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/modelcollapse · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30