Dobór mieszanki danych (DoReMi, RegMix)

Data mixture optimisation · id datamixing · aliases: data mixture, domain weights, DoReMi, RegMix

Ustalanie, jaki udział w treningu mają mieć poszczególne źródła (strony, kod, książki, nauka), np. na podstawie małych modeli próbnych.

Setting how much each source (web, code, books, science) contributes to training, e.g. using small proxy models.

In one sentence

To ustalanie, ile materiału z każdego źródła trafi do nauki modelu.

This sets how much material from each source contributes to a model's learning.

Problem it solves

Największe źródło dominuje w nauce, choć mniejsze mogą dostarczać potrzebnych umiejętności.

The largest source dominates learning even though smaller sources may teach important skills.

What it does

Próbne treningi na mniejszych modelach pomagają dobrać udziały różnych materiałów przed kosztowniejszą nauką dużego modelu.

Trial training with smaller models helps choose source proportions before more expensive training of a large model.

Everyday example

Budując model do pracy z dokumentami, porównujesz mieszanki zwykłych tekstów, instrukcji i tabel na mniejszym modelu próbnym.

When building a model for documents, you compare mixtures of ordinary text, instructions and tables using a smaller trial model.

This concerns you if you…

• łączysz dane z kilku bardzo różnych źródeł
• chcesz sprawdzić proporcje przed drogim treningiem
• combine data from several very different sources
• want to test proportions before expensive training

Examples

• Wagi domen z małego modelu (DoReMi) · regresja na wynikach wielu małych treningów (RegMix)
• Domain weights from a small proxy model (DoReMi) · regression over many small training runs (RegMix)

Related topics

• Kolejność danych i uczenie z programem nauczania (curriculum learning) (Data ordering and curriculum learning)
• Mid-training (późna faza pretrainingu) (Mid-training)
• Trening od zera / pretraining (Training from scratch and pretraining)

Sources

• DataComp-LM: In search of the next generation of training sets for language models · Jeffrey Li, Alex Fang, Georgios Smyrnis, Maor Ivgi, Matt Jordan, Samir Gadre, Hritik Bansal, Etash Guha, Sedrick Keh, Kushal Arora i in. (51 autorów)
• DoReMi: Optimizing Data Mixtures Speeds Up Language Model Pretraining · Sang Michael Xie, Hieu Pham, Xuanyi Dong, Nan Du, Hanxiao Liu, Yifeng Lu, Percy Liang, Quoc V. Le, Tengyu Ma, Adams Wei Yu
• RegMix: Data Mixture as Regression for Language Model Pre-training · Qian Liu, Xiaosen Zheng, Niklas Muennighoff, Guangtao Zeng, Longxu Dou, Tianyu Pang, Jing Jiang, Min Lin