# Dobór mieszanki danych (DoReMi, RegMix)

EN: **Data mixture optimisation** · id `datamixing` · aliases: data mixture, domain weights, DoReMi, RegMix

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Dane dla AI](https://aiatlasgraph.com/t/data.md) › [Selekcja i proporcje danych](https://aiatlasgraph.com/t/dataselection.md) › Dobór mieszanki danych (DoReMi, RegMix)

## Description

- PL: Ustalanie, jaki udział w treningu mają mieć poszczególne źródła (strony, kod, książki, nauka), np. na podstawie małych modeli próbnych.
- EN: Setting how much each source (web, code, books, science) contributes to training, e.g. using small proxy models.

## In one sentence

- PL: To ustalanie, ile materiału z każdego źródła trafi do nauki modelu.
- EN: This sets how much material from each source contributes to a model's learning.

## Problem it solves

- PL: Największe źródło dominuje w nauce, choć mniejsze mogą dostarczać potrzebnych umiejętności.
- EN: The largest source dominates learning even though smaller sources may teach important skills.

## What it does

- PL: Próbne treningi na mniejszych modelach pomagają dobrać udziały różnych materiałów przed kosztowniejszą nauką dużego modelu.
- EN: Trial training with smaller models helps choose source proportions before more expensive training of a large model.

## Everyday example

- PL: Budując model do pracy z dokumentami, porównujesz mieszanki zwykłych tekstów, instrukcji i tabel na mniejszym modelu próbnym.
- EN: When building a model for documents, you compare mixtures of ordinary text, instructions and tables using a smaller trial model.

## This concerns you if you…

- PL: łączysz dane z kilku bardzo różnych źródeł
- PL: chcesz sprawdzić proporcje przed drogim treningiem
- EN: combine data from several very different sources
- EN: want to test proportions before expensive training

## Keywords

DoReMi · RegMix · Group DRO · domain weights · proxy models · mixture sampling

## How it works

- PL: Wagi domen wyznaczają prawdopodobieństwa pobierania dokumentów podczas treningu. Małe modele próbne lub regresja wyników eksperymentów pomagają porównać mieszanki przed użyciem ich w większym treningu.
- EN: Domain weights determine document sampling probabilities during training. Small proxy models or regression over experimental results help compare mixtures before using them in larger training runs.

## Limits

- PL: Wyniki małego modelu nie muszą przenosić się na większą skalę. Optymalizacja pod wybrane domeny może pogarszać pozostałe; ograniczenia obejmują dostępność danych i koszty prób.
- EN: Small-model results may not transfer to larger scales. Optimising selected domains can hurt others; constraints include data availability and experimental costs.

## Key terms

- PL: **waga domeny**: Udział danego źródła lub typu danych w próbkowaniu treningowym.
- PL: **model próbny**: Mniejszy model używany do taniego porównywania wariantów treningu.
- EN: **domain weight**: A source or data type's share in training sampling.
- EN: **proxy model**: A smaller model used to compare training variants cheaply.

## Know first

- [Rozkłady prawdopodobieństwa (Probability distributions)](https://aiatlasgraph.com/t/distributions.md)
- [Uczenie nadzorowane (Supervised learning)](https://aiatlasgraph.com/t/supervised.md)

## Examples

- PL: Wagi domen z małego modelu (DoReMi) · regresja na wynikach wielu małych treningów (RegMix)
- EN: Domain weights from a small proxy model (DoReMi) · regression over many small training runs (RegMix)

## Related topics

Untyped, symmetric "see also" links.

- [Kolejność danych i uczenie z programem nauczania (curriculum learning) (Data ordering and curriculum learning)](https://aiatlasgraph.com/t/datacurriculum.md)
- [Mid-training (późna faza pretrainingu) (Mid-training)](https://aiatlasgraph.com/t/midtraining.md)
- [Trening od zera / pretraining (Training from scratch and pretraining)](https://aiatlasgraph.com/t/pretraining.md)

## Sources

- [DataComp-LM: In search of the next generation of training sets for language models](<https://arxiv.org/abs/2406.11794>) `dclm-2024` · by Jeffrey Li, Alex Fang, Georgios Smyrnis, Maor Ivgi, Matt Jordan, Samir Gadre, Hritik Bansal, Etash Guha, Sedrick Keh, Kushal Arora i in. (51 autorów)
- [DoReMi: Optimizing Data Mixtures Speeds Up Language Model Pretraining](<https://arxiv.org/abs/2305.10429>) `doremi-2023` · by Sang Michael Xie, Hieu Pham, Xuanyi Dong, Nan Du, Hanxiao Liu, Yifeng Lu, Percy Liang, Quoc V. Le, Tengyu Ma, Adams Wei Yu
- [RegMix: Data Mixture as Regression for Language Model Pre-training](<https://arxiv.org/abs/2407.01492>) `regmix-2024` · by Qian Liu, Xiaosen Zheng, Niklas Muennighoff, Guangtao Zeng, Longxu Dou, Tianyu Pang, Jing Jiang, Min Lin

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/datamixing · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30