Dotrenowanie na tekstach z dziedziny (continued pretraining)

Continued (domain-adaptive) pretraining · id continuedpretraining · aliases: continued pretraining, continual pretraining, domain-adaptive pretraining, DAPT, TAPT

Kolejna faza pretrainingu istniejącego modelu na nieoznaczonych danych z wybranej dziedziny, zadania lub języka, zwykle przed właściwym dostrajaniem. Ma zaadaptować model do nowego rozkładu danych i słownictwa.

An additional pretraining phase of an existing model on unlabelled data from a selected domain, task or language, usually before downstream fine-tuning. It aims to adapt the model to a new data distribution and vocabulary.

In one sentence

To dalsze uczenie gotowego modelu na tekstach z wybranej dziedziny, zadania lub języka.

This further trains an existing model on texts from a particular domain, task or language.

Problem it solves

Ogólny model słabo zna słownictwo i wzory dokumentów, z którymi pracujesz.

A general model poorly understands the terminology and document patterns you work with.

What it does

Model kontynuuje podstawowe ćwiczenia na niepodpisanych danych z dziedziny, dostosowując ustawienia przed ewentualną nauką konkretnych odpowiedzi.

A model continues foundational training on unlabelled domain data, adapting its parameters before any task-specific response training.

Everyday example

Przed uczeniem odpowiedzi na zgłoszenia model ćwiczy na dokumentacji urządzeń i instrukcjach serwisowych.

Before learning support responses, a model trains on equipment documentation and service manuals.

This concerns you if you…

Examples

Related topics

Sources