# Przycinanie zbioru treningowego

EN: **Training data pruning** · id `datapruning` · aliases: data pruning, data diet, dataset pruning

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Dane dla AI](https://aiatlasgraph.com/t/data.md) › [Selekcja i proporcje danych](https://aiatlasgraph.com/t/dataselection.md) › Przycinanie zbioru treningowego

## Description

- PL: Ranking przykładów według metryki przycinania (trudność, niepewność, typowość) i usuwanie części zbioru przed treningiem.
- EN: Ranking examples by a pruning metric (difficulty, uncertainty, prototypicality) and removing part of the dataset before training.

## In one sentence

- PL: Usuwanie z danych treningowych przykładów, które niewiele uczą, na podstawie oceny ich trudności lub nadmiarowości.
- EN: Removing training examples that teach little, based on how hard or redundant they are judged to be.

## Problem it solves

- PL: Dokładanie kolejnych danych daje coraz mniejszy zysk, a każdy nowy przykład kosztuje czas i energię treningu.
- EN: Adding more data brings ever smaller gains, while every extra example costs training time and energy.

## What it does

- PL: Jak trener dobierający ćwiczenia: odrzuca te, które zawodnik już opanował, a zostawia te, które wciąż czegoś go uczą.
- EN: Like a coach choosing drills: it drops the ones the athlete has mastered and keeps the ones that still teach something.

## Everyday example

- PL: Firma skraca trening modelu do rozpoznawania zdjęć, wyrzucając najbardziej oczywiste przykłady, i sprawdza, że jakość prawie się nie zmieniła.
- EN: A company shortens training of an image classifier by dropping the most obvious examples and checks that quality barely changed.

## This concerns you if you…

- PL: płacisz za długie treningi
- PL: masz zbiór pełen bardzo podobnych przykładów
- EN: pay for long training runs
- EN: have a dataset full of very similar examples

## Keywords

EL2N · GraNd · forgetting events · self-supervised prototypes · SemDeDup · D4 · data diet · neural scaling laws

## How it works

- PL: Metryka, np. wielkość błędu lub gradientu we wczesnym treningu, liczba zapomnień albo odległość od centroidu klastra w przestrzeni embeddingów, porządkuje przykłady. Ranking pozwala zbudować zbiór dowolnej wielkości; przy dużych zbiorach opłaca się zostawiać trudne przykłady, przy małych łatwe.
- EN: A metric such as early-training error or gradient norm, forgetting counts, or distance to a cluster centroid in embedding space orders the examples. The ranking yields a dataset of any size; with large datasets it pays to keep hard examples, with small ones easy examples.

## Limits

- PL: Zysk zależy od jakości metryki, a najlepsze metryki bywają drogie i wymagają etykiet. Wiele metryk słabo skaluje się do dużych zbiorów, a usunięcie rzadkich przykładów może pogorszyć wyniki dla mniej licznych podgrup.
- EN: Gains depend on metric quality, and the best metrics can be costly and need labels. Many metrics scale poorly to large datasets, and removing rare examples can hurt smaller subgroups.

## Key terms

- PL: **metryka przycinania**: Ocena, na ile przykład można usunąć bez straty.
- PL: **EL2N**: Wielkość błędu przewidywania we wczesnej fazie treningu.
- PL: **prawo skalowania**: Zależność błędu modelu od ilości danych.
- EN: **pruning metric**: A score for how safely an example can be removed.
- EN: **EL2N**: The size of the prediction error early in training.
- EN: **scaling law**: How model error depends on the amount of data.

## Know first

- [Reprezentacje i embeddingi (Representation learning)](https://aiatlasgraph.com/t/representations.md)
- [Zbiory testowe i regresje (Evaluation datasets and regression tests)](https://aiatlasgraph.com/t/evalsets.md)

## Related topics

Untyped, symmetric "see also" links.

- [Deduplikacja semantyczna (po embeddingach) (Semantic deduplication with embeddings)](https://aiatlasgraph.com/t/semanticdedup.md)

## Sources

- [Beyond neural scaling laws: beating power law scaling via data pruning](<https://arxiv.org/abs/2206.14486>) `sorscher-data-pruning-2022` · by Ben Sorscher, Robert Geirhos, Shashank Shekhar, Surya Ganguli, Ari S. Morcos

---

AI Atlas revision 127 (2026-11-03) · HTML: https://aiatlasgraph.com/t/datapruning · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-11-03