Załamanie modelu na danych syntetycznych

Model collapse from synthetic data · id modelcollapse · aliases: model collapse, recursive training

Ryzyko, że modele trenowane rekurencyjnie na treściach generowanych przez wcześniejsze modele tracą informacje o pierwotnym rozkładzie danych, zaczynając od rzadkich przypadków.

The risk that models trained recursively on content generated by earlier models lose information about the original data distribution, beginning with rare cases.

In one sentence

To ryzyko pogorszenia modeli uczonych kolejno na treściach wytworzonych przez wcześniejsze modele.

This is the risk of degradation when successive models learn from content produced by earlier models.

Problem it solves

Rzadkie sytuacje mogą znikać z materiału do nauki, a odpowiedzi coraz gorzej oddawać różnorodność rzeczywistości.

Rare situations may disappear from learning material, and answers may represent the variety of real life less well.

What it does

Kolejne pokolenia modeli mogą powielać częste wzorce poprzedników, stopniowo gubiąc mniej typowe przypadki.

Successive generations can repeat their predecessors' common patterns while gradually losing less typical cases.

Everyday example

Kolejne wersje asystenta uczą się głównie z odpowiedzi poprzedników i mogą coraz gorzej obsługiwać nietypowe reklamacje.

Successive assistant versions learn mostly from earlier versions' replies and may become worse at handling unusual complaints.

This concerns you if you…

• zastępujesz prawdziwe przykłady odpowiedziami modelu
• uczysz kolejne modele na treściach ich poprzedników
• replace real examples with model answers
• train successive models on their predecessors' content

Examples

• Zanikanie ogonów rozkładu · rekurencyjne trenowanie · zachowanie danych pochodzących od ludzi
• Distribution-tail loss · recursive training · preserving human-originated data

Related topics

• Syntetyczne dane do pretrainingu (przepisywanie, podręczniki) (Synthetic pretraining data: rephrasing and textbooks)

Sources

• AI models collapse when trained on recursively generated data · Ilia Shumailov, Zakhar Shumaylov, Yiren Zhao, Nicolas Papernot, Ross Anderson, Yarin Gal
• Best Practices and Lessons Learned on Synthetic Data · Ruibo Liu, Jerry Wei, Fangyu Liu, Chenglei Si, Yanzhe Zhang, Jinmeng Rao, Steven Zheng, Daiyi Peng, Diyi Yang, Denny Zhou, Andrew M. Dai