# Dotrenowanie na tekstach z dziedziny (continued pretraining)

EN: **Continued (domain-adaptive) pretraining** · id `continuedpretraining` · aliases: continued pretraining, continual pretraining, domain-adaptive pretraining, DAPT, TAPT

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Trenowanie i dostrajanie](https://aiatlasgraph.com/t/training.md) › [Uczenie ciągłe i transfer](https://aiatlasgraph.com/t/continual.md) › Dotrenowanie na tekstach z dziedziny (continued pretraining)

## Description

- PL: Kolejna faza pretrainingu istniejącego modelu na nieoznaczonych danych z wybranej dziedziny, zadania lub języka, zwykle przed właściwym dostrajaniem. Ma zaadaptować model do nowego rozkładu danych i słownictwa.
- EN: An additional pretraining phase of an existing model on unlabelled data from a selected domain, task or language, usually before downstream fine-tuning. It aims to adapt the model to a new data distribution and vocabulary.

## In one sentence

- PL: To dalsze uczenie gotowego modelu na tekstach z wybranej dziedziny, zadania lub języka.
- EN: This further trains an existing model on texts from a particular domain, task or language.

## Problem it solves

- PL: Ogólny model słabo zna słownictwo i wzory dokumentów, z którymi pracujesz.
- EN: A general model poorly understands the terminology and document patterns you work with.

## What it does

- PL: Model kontynuuje podstawowe ćwiczenia na niepodpisanych danych z dziedziny, dostosowując ustawienia przed ewentualną nauką konkretnych odpowiedzi.
- EN: A model continues foundational training on unlabelled domain data, adapting its parameters before any task-specific response training.

## Everyday example

- PL: Przed uczeniem odpowiedzi na zgłoszenia model ćwiczy na dokumentacji urządzeń i instrukcjach serwisowych.
- EN: Before learning support responses, a model trains on equipment documentation and service manuals.

## This concerns you if you…

- PL: masz dużo tekstu z własnej dziedziny
- PL: model nie zna potrzebnej terminologii
- EN: have substantial text from your domain
- EN: find a model unfamiliar with necessary terminology

## Keywords

domain-adaptive pretraining · DAPT · replay data · learning rate rewarming · tokenizer extension · catastrophic forgetting

## How it works

- PL: Istniejący checkpoint trenuje się dalej na nieetykietowanych danych, zwykle zachowując cel samonadzorowany. Domieszkowanie danych ogólnych i dostosowanie harmonogramu pozwalają przyswajać słownictwo oraz zależności domeny przed ewentualnym dostrajaniem instrukcyjnym.
- EN: An existing checkpoint is trained further on unlabelled data, typically retaining its self-supervised objective. Mixing general data and adapting schedules helps acquire domain vocabulary and relationships before optional instruction fine-tuning.

## Limits

- PL: Wąski korpus może powodować zapominanie i zapamiętywanie fragmentów. Adaptacja rozkładu języka nie gwarantuje lepszego wykonywania zadań; potrzebne są testy domenowe i kontrola zdolności ogólnych.
- EN: Narrow corpora can cause forgetting and passage memorisation. Language-distribution adaptation cannot guarantee better task performance; domain tests and general-capability checks are needed.

## Key terms

- PL: **korpus domenowy**: Zbiór treści reprezentujących język i zależności wybranego obszaru.
- PL: **adaptacja domenowa**: Dostosowanie modelu do rozkładu danych konkretnego zastosowania.
- EN: **domain corpus**: Content representing a selected area's language and relationships.
- EN: **domain adaptation**: Adapting a model to a particular application's data distribution.

## Know first

- [Dobór mieszanki danych (DoReMi, RegMix) (Data mixture optimisation)](https://aiatlasgraph.com/t/datamixing.md)
- [Tokenizacja tekstu (BPE, WordPiece, SentencePiece) (Text tokenisation (BPE, WordPiece, SentencePiece))](https://aiatlasgraph.com/t/tokenization.md)

## Examples

- PL: DAPT · TAPT · modele medyczne, prawnicze, kodu · dotrenowanie na nowym języku
- EN: DAPT · TAPT · medical, legal, code models · adapting to a new language

## Related topics

Untyped, symmetric "see also" links.

- [Mid-training (późna faza pretrainingu) (Mid-training)](https://aiatlasgraph.com/t/midtraining.md)
- [Modele językowe uczone na tekstach prawnych (Domain-adapted legal language models)](https://aiatlasgraph.com/t/legallm.md)

## Sources

- [Effective Long-Context Scaling of Foundation Models](<https://arxiv.org/abs/2309.16039>) `xiong-longcontext-2023` · by Wenhan Xiong, Jingyu Liu, Igor Molybog i in. (Meta)
- [Continual Learning for Large Language Models: A Survey](<https://arxiv.org/abs/2402.01364>) `continual-llm-survey-2024` · by Tongtong Wu, Linhao Luo, Yuan-Fang Li i in.
- [Don't Stop Pretraining: Adapt Language Models to Domains and Tasks](<https://arxiv.org/abs/2004.10964>) `dont-stop-pretraining-2020` · by Suchin Gururangan, Ana Marasović, Swabha Swayamdipta i in.

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/continuedpretraining · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30