# Syntetyczne dane do pretrainingu (przepisywanie, podręczniki)

EN: **Synthetic pretraining data: rephrasing and textbooks** · id `pretrainsynthetic` · aliases: rephrasing, WRAP, synthetic textbooks

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Dane dla AI](https://aiatlasgraph.com/t/data.md) › [Dane syntetyczne i augmentacja](https://aiatlasgraph.com/t/synthetic.md) › Syntetyczne dane do pretrainingu (przepisywanie, podręczniki)

## Description

- PL: Przepisywanie tekstów z sieci w bardziej użytecznej formie albo generowanie materiałów w stylu podręcznika jako sposób na zwiększenie efektywności pretrainingu. Wynik zależy od jakości generowania, filtrowania i połączenia z danymi rzeczywistymi.
- EN: Rewriting web text into a more useful form or generating textbook-style material as a way to improve pretraining efficiency. Outcomes depend on generation quality, filtering, and how synthetic data is combined with real data.

## In one sentence

- PL: To tworzenie lub przepisywanie tekstów przez model jako materiału do podstawowej nauki kolejnego modelu.
- EN: This uses a model to create or rewrite texts for another model's initial learning.

## Problem it solves

- PL: Surowe teksty bywają chaotyczne i zawierają mało wyjaśnień, które pomagają uczyć przydatnych umiejętności.
- EN: Raw text can be disorganised and lack explanations that help teach useful skills.

## What it does

- PL: Model porządkuje treść lub tworzy wyjaśnienia i ćwiczenia; przydatność zależy od sprawdzania jakości oraz doboru całej mieszanki.
- EN: A model organises content or creates explanations and exercises; usefulness depends on quality checks and the overall data mixture.

## Everyday example

- PL: Przygotowujesz materiały do nauki modelu, przepisując sprawdzone opisy obsługi urządzeń na uporządkowane wyjaśnienia i pytania z odpowiedziami.
- EN: You prepare model learning material by rewriting checked device instructions into organised explanations and questions with answers.

## This concerns you if you…

- PL: przygotowujesz duży zbiór do podstawowej nauki modelu
- PL: chcesz sprawdzić przydatność wygenerowanych wyjaśnień
- EN: prepare a large collection for a model's initial learning
- EN: want to check the usefulness of generated explanations

## Keywords

WRAP · phi-1 · textbook-style data · text rephrasing · synthetic exercises

## How it works

- PL: Model przepisuje tekst źródłowy lub generuje materiał dydaktyczny o zadanej strukturze. Po filtrowaniu treść miesza się z innymi danymi i używa do uczenia przewidywania tokenów.
- EN: A model rewrites source text or generates instructional material with a specified structure. After filtering, content is mixed with other data and used for next-token prediction training.

## Limits

- PL: Przepisanie może zmieniać fakty i homogenizować styl. Korzyści zależą od jakości generatora i docelowych zadań; syntetyczny materiał nie zastępuje kontroli pochodzenia ani testów na danych rzeczywistych.
- EN: Rewriting can alter facts and homogenise style. Benefits depend on generator quality and target tasks; synthetic material cannot replace provenance controls or tests on real data.

## Key terms

- PL: **przepisywanie**: Przekształcanie treści źródłowej w formę łatwiejszą do wykorzystania w treningu.
- PL: **mieszanka treningowa**: Proporcje typów danych dostarczanych modelowi podczas uczenia.
- EN: **rephrasing**: Transforming source content into a form more useful for training.
- EN: **training mixture**: The proportions of data types supplied to a model during training.

## Know first

- [Trening od zera / pretraining (Training from scratch and pretraining)](https://aiatlasgraph.com/t/pretraining.md)
- [Dobór mieszanki danych (DoReMi, RegMix) (Data mixture optimisation)](https://aiatlasgraph.com/t/datamixing.md)

## Examples

- PL: Parafrazy w stylu Wikipedii lub Q&A (WRAP) · syntetyczne podręczniki i ćwiczenia (phi-1)
- EN: Wikipedia-style or Q&A paraphrases (WRAP) · synthetic textbooks and exercises (phi-1)

## Related topics

Untyped, symmetric "see also" links.

- [Trening od zera / pretraining (Training from scratch and pretraining)](https://aiatlasgraph.com/t/pretraining.md)
- [Załamanie modelu na danych syntetycznych (Model collapse from synthetic data)](https://aiatlasgraph.com/t/modelcollapse.md)

## Sources

- [Rephrasing the Web: A Recipe for Compute and Data-Efficient Language Modeling](<https://arxiv.org/abs/2401.16380>) `wrap-rephrasing-2024` · by Pratyush Maini, Skyler Seto, He Bai, David Grangier, Yizhe Zhang, Navdeep Jaitly
- [Textbooks Are All You Need](<https://arxiv.org/abs/2306.11644>) `phi1-textbooks-2023` · by Suriya Gunasekar, Yi Zhang, Jyoti Aneja, Caio César Teodoro Mendes, Allie Del Giorno, Sivakanth Gopi, Mojan Javaheripi, Piero Kauffmann, Gustavo de Rosa, Olli Saarikivi, Adil Salim, Shital Shah, Harkirat Singh Behl, Xin Wang, Sébastien Bubeck, Ronen Eldan, Adam Tauman Kalai, Yin Tat Lee, Yuanzhi Li

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/pretrainsynthetic · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30