# Destylacja zbioru danych

EN: **Dataset distillation (dataset condensation)** · id `datasetdistillation` · aliases: dataset distillation, dataset condensation, data condensation

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Dane dla AI](https://aiatlasgraph.com/t/data.md) › [Selekcja i proporcje danych](https://aiatlasgraph.com/t/dataselection.md) › Destylacja zbioru danych

## Description

- PL: Optymalizacja małego syntetycznego zbioru tak, by model trenowany na nim osiągał wyniki zbliżone do treningu na pełnych danych.
- EN: Optimising a small synthetic dataset so that models trained on it approach the results of training on the full data.

## In one sentence

- PL: Tworzenie bardzo małego, sztucznego zbioru przykładów, który uczy model prawie tyle samo, co oryginalne ogromne dane.
- EN: Creating a tiny artificial set of examples that teaches a model nearly as much as the original huge dataset.

## Problem it solves

- PL: Przechowywanie ogromnych zbiorów i ciągłe trenowanie na nich od nowa jest drogie, a udostępnianie oryginalnych danych bywa ryzykowne.
- EN: Storing huge datasets and retraining on them again and again is expensive, and sharing the original data can be risky.

## What it does

- PL: Zamiast wybierać istniejące zdjęcia, tworzy kilka nowych, skondensowanych obrazów na klasę, dopracowanych tak, żeby uczyły modelu tego samego.
- EN: Instead of picking existing photos, it creates a few new, condensed images per class, tuned to teach the model the same things.

## Everyday example

- PL: Aplikacja w telefonie douczająca się nowych rzeczy, która zamiast całej historii przechowuje garść sztucznych przykładów dawnych zadań.
- EN: A phone app that keeps learning new things and, instead of its full history, stores a handful of artificial examples of past tasks.

## This concerns you if you…

- PL: często trenujesz modele od nowa
- PL: nie możesz udostępniać surowych danych
- EN: retrain models from scratch often
- EN: cannot share raw data

## Keywords

dataset condensation · gradient matching · matching training trajectories (MTT) · distribution matching · KIP · FRePo · label distillation · bi-level optimization

## How it works

- PL: Piksele lub kody latentne syntetycznych próbek są parametrami optymalizacji. Celem jest dopasowanie wyników modelu (optymalizacja dwupoziomowa lub regresja jądrowa), gradientów albo trajektorii treningu, ewentualnie rozkładów cech między danymi syntetycznymi i prawdziwymi.
- EN: Pixels or latent codes of synthetic samples are the optimisation parameters. The objective matches model performance (bi-level optimisation or kernel ridge regression), gradients or training trajectories, or feature distributions between synthetic and real data.

## Limits

- PL: Metody dwupoziomowe i dopasowanie trajektorii są bardzo kosztowne pamięciowo i słabo skalują się do dużych zbiorów. Dane syntetyczne przenoszą uprzedzenia architektury, a przy łagodnej kompresji wybór prawdziwych próbek bywa równie dobry.
- EN: Bi-level and trajectory-matching methods are very memory-hungry and scale poorly to large datasets. Synthetic data carries the training architecture's biases, and at mild compression selecting real samples can do as well.

## Key terms

- PL: **optymalizacja dwupoziomowa**: Ulepszanie danych tak, by model uczony na nich wypadał dobrze.
- PL: **dopasowanie trajektorii**: Naśladowanie zmian wag modelu uczonego na prawdziwych danych.
- PL: **dopasowanie rozkładu**: Wyrównanie statystyk cech danych syntetycznych i prawdziwych.
- EN: **bi-level optimisation**: Improving data so that a model trained on it performs well.
- EN: **trajectory matching**: Mimicking how weights change when training on real data.
- EN: **distribution matching**: Aligning feature statistics of synthetic and real data.

## Know first

- [Propagacja wsteczna (backpropagation) (Backpropagation)](https://aiatlasgraph.com/t/backprop.md)
- [Spadek gradientu i optymalizacja ciągła (Gradient descent and continuous optimisation)](https://aiatlasgraph.com/t/mathoptimization.md)

## Related topics

Untyped, symmetric "see also" links.

- [Uczenie ciągłe i transfer (Continual and transfer learning)](https://aiatlasgraph.com/t/continual.md)
- [Wybór reprezentatywnego podzbioru (coreset) (Coreset selection)](https://aiatlasgraph.com/t/coresetselection.md)

## Sources

- [Dataset Distillation: A Comprehensive Review](<https://arxiv.org/abs/2301.07014>) `yu-dataset-distillation-review-2023` · by Ruonan Yu, Songhua Liu, Xinchao Wang

---

AI Atlas revision 127 (2026-11-03) · HTML: https://aiatlasgraph.com/t/datasetdistillation · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-11-03