Budowa korpusów kodu: filtrowanie licencji, opt-out, deduplikacja, usuwanie sekretów i PII, dekontaminacja oraz układ na poziomie repozytorium.
Building code corpora: licence filtering, opt-outs, deduplication, secret and PII removal, decontamination and repository-level layout.
Zbieranie i porządkowanie kodu z wybranych publicznych repozytoriów, aby model uczył się programować na wartościowych przykładach zgodnych z kryteriami zbioru.
Collecting and organising code from selected public repositories so a model learns programming from valuable examples that meet the dataset's criteria.
Publiczny kod jest pełen kopii, plików generowanych automatycznie, haseł i licencji zabraniających użycia, więc bez obróbki nie nadaje się do nauki.
Public code is full of copies, auto-generated files, passwords and licences that forbid reuse, so it is unfit for training as is.
Jak redaktor antologii: odrzuca kopie i śmieci, zapisuje informacje o licencjach, usuwa sekrety i trzyma pliki jednego projektu razem, żeby zachować kontekst.
Like an anthology editor: it removes copies and junk, records licence information, strips secrets and keeps one project's files together to preserve context.
Podpowiadanie kodu w edytorze, które zna strukturę całego projektu i nie wkleja cudzych haseł znalezionych w sieci.
Code suggestions in your editor that know the whole project's structure and never paste someone else's leaked password.