Śledzenie pochodzenia danych (lineage)
Data lineage and traceability · id datalineage · aliases: data provenance, lineage, traceability
Zapisywanie, skąd pochodzi każdy fragment zbioru, kto go stworzył i jak był przetwarzany — żeby dało się go audytować, poprawić lub usunąć.
Recording where each part of a dataset came from, who created it and how it was processed, so it can be audited, fixed or removed.
In one sentence
To zapisywanie, skąd pochodzą dane i co z nimi zrobiono po drodze.
This records where data came from and what happened to it along the way.
Problem it solves
Nie potrafisz znaleźć źródła błędnego wpisu ani ustalić, gdzie trafił po przetworzeniu.
You cannot find the source of an incorrect record or establish where it went after processing.
What it does
Łączy materiał źródłowy z kolejnymi przekształceniami i zbiorami, tworząc ślad pozwalający prześledzić drogę każdego przykładu.
It links source material to later transformations and collections, leaving a trail that lets you trace an example's path.
Everyday example
Odkrywasz błąd w artykule i dzięki zapisanym powiązaniom znajdujesz jego fragmenty w przygotowanym zbiorze do nauki.
You find an error in an article and use recorded links to locate its passages in a prepared training collection.
This concerns you if you…
- łączysz i przekształcasz dane z różnych miejsc
- musisz odnaleźć przykłady wymagające poprawy lub usunięcia
- combine and transform data from different places
- need to locate examples requiring correction or removal
Examples
- Metadane źródła i twórców · audyt licencji · Data Provenance Explorer
- Source and creator metadata · licence audit · Data Provenance Explorer
Related topics
Sources
- Dolma: an Open Corpus of Three Trillion Tokens for Language Model Pretraining Research · Luca Soldaini, Rodney Kinney, Akshita Bhagia, Dustin Schwenk, David Atkinson, Russell Authur, Ben Bogin, Khyathi Chandu, Jennifer Dumas, Yanai Elazar i in. (26 autorów)
- The Data Provenance Initiative: A Large Scale Audit of Dataset Licensing & Attribution in AI · Shayne Longpre, Robert Mahari, Anthony Chen, Naana Obeng-Marnu, Damien Sileo, William Brannon, Niklas Muennighoff, Nathan Khazam, Jad Kabbara, Kartik Perisetla i in. (17 autorów)
- Tracing the Data Trail: A Survey of Data Provenance, Transparency and Traceability in LLMs · Richard Hohensinner, Belgin Mutlu, Inti Gabriel Mendoza Estrada, Matej Vukovic, Simone Kopeinik, Roman Kern