# Kuracja danych kodu źródłowego

EN: **Source code data curation** · id `codedatacuration` · aliases: code pretraining data, code dataset curation

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Dane dla AI](https://aiatlasgraph.com/t/data.md) › [Korpusy domenowe dla modeli językowych](https://aiatlasgraph.com/t/domaincorpora.md) › Kuracja danych kodu źródłowego

## Description

- PL: Budowa korpusów kodu: filtrowanie licencji, opt-out, deduplikacja, usuwanie sekretów i PII, dekontaminacja oraz układ na poziomie repozytorium.
- EN: Building code corpora: licence filtering, opt-outs, deduplication, secret and PII removal, decontamination and repository-level layout.

## In one sentence

- PL: Zbieranie i porządkowanie kodu z wybranych publicznych repozytoriów, aby model uczył się programować na wartościowych przykładach zgodnych z kryteriami zbioru.
- EN: Collecting and organising code from selected public repositories so a model learns programming from valuable examples that meet the dataset's criteria.

## Problem it solves

- PL: Publiczny kod jest pełen kopii, plików generowanych automatycznie, haseł i licencji zabraniających użycia, więc bez obróbki nie nadaje się do nauki.
- EN: Public code is full of copies, auto-generated files, passwords and licences that forbid reuse, so it is unfit for training as is.

## What it does

- PL: Jak redaktor antologii: odrzuca kopie i śmieci, zapisuje informacje o licencjach, usuwa sekrety i trzyma pliki jednego projektu razem, żeby zachować kontekst.
- EN: Like an anthology editor: it removes copies and junk, records licence information, strips secrets and keeps one project's files together to preserve context.

## Everyday example

- PL: Podpowiadanie kodu w edytorze, które zna strukturę całego projektu i nie wkleja cudzych haseł znalezionych w sieci.
- EN: Code suggestions in your editor that know the whole project's structure and never paste someone else's leaked password.

## This concerns you if you…

- PL: korzystasz z podpowiedzi kodu
- PL: publikujesz kod w otwartych repozytoriach
- PL: trenujesz model na kodzie firmy
- EN: use code suggestions
- EN: publish code in open repositories
- EN: train a model on your company's code

## Keywords

The Stack v2 · Software Heritage · ScanCode · StarPII · MinHash LSH · near-deduplication · benchmark decontamination · fill-in-the-middle · repository-level context

## How it works

- PL: Kod pobiera się z archiwów repozytoriów, wykrywa licencje na poziomie repozytorium i pliku oraz stosuje przyjęte kryteria włączenia i zgłoszenia opt-out. Heurystyki usuwają pliki generowane i zrzuty danych, MinHash z LSH usuwa prawie-duplikaty, model wykrywa sekrety i dane osobowe, a pliki jednego projektu łączy się w kontekst repozytorium.
- EN: Code is collected from repository archives, licences are detected at repository and file level, and the project's inclusion and opt-out rules are applied. Heuristics remove generated files and data dumps, MinHash with LSH removes near-duplicates, a model detects secrets and personal data, and files from one project are grouped into repository context.

## Limits

- PL: Wykrywanie licencji jest niepewne, a opt-out działa tylko dla autorów, którzy o nim wiedzą. Prawie-duplikaty i zadania z benchmarków łatwo przeoczyć. Udział języków programowania trzeba świadomie równoważyć.
- EN: Licence detection is uncertain, and opt-outs only help authors who know about them. Near-duplicates and benchmark tasks are easy to miss. Programming-language shares must be balanced deliberately.

## Key terms

- PL: **opt-out**: Prośba autora o usunięcie jego kodu ze zbioru treningowego.
- PL: **dekontaminacja**: Usunięcie zadań testowych, żeby wynik ewaluacji nie był zawyżony.
- PL: **kontekst repozytorium**: Ułożenie wielu plików jednego projektu w jednym przykładzie treningowym.
- EN: **opt-out**: An author's request to remove their code from training data.
- EN: **decontamination**: Removing test tasks so evaluation scores are not inflated.
- EN: **repository-level context**: Placing many files of one project in a single training example.

## Know first

- [Licencje i zgody na użycie danych (Data licensing and consent)](https://aiatlasgraph.com/t/datalicensing.md)
- [Deduplikacja i dekontaminacja (Deduplication and decontamination)](https://aiatlasgraph.com/t/dedup.md)

## Related topics

Untyped, symmetric "see also" links.

- [Przeciek danych i nasycenie benchmarków (Benchmark contamination and saturation)](https://aiatlasgraph.com/t/benchcontamination.md)
- [Wykrywanie i anonimizacja danych osobowych (PII) (PII detection and anonymisation)](https://aiatlasgraph.com/t/piiredaction.md)

## Sources

- [StarCoder 2 and The Stack v2: The Next Generation](<https://arxiv.org/abs/2402.19173>) `lozhkov-stackv2-2024` · by Anton Lozhkov, Raymond Li, Loubna Ben Allal i in. (BigCode)

---

AI Atlas revision 127 (2026-11-03) · HTML: https://aiatlasgraph.com/t/codedatacuration · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-11-03