Rodzaje wycieku danych i ich wykrywanie

Types of data leakage and their detection · id leakagetypes · aliases: data leakage, target leakage

Rozpoznawanie typowych błędów, przez które model „podgląda” odpowiedzi: wspólne przetwarzanie treningu i testu, duplikaty, cechy niedostępne w praktyce, przeciek z przyszłości.

Recognising common mistakes that let a model peek at the answers: preprocessing train and test together, duplicates, features unavailable in practice, leakage from the future.

In one sentence

To błędy przygotowania danych, przez które model podczas nauki dostaje informacje niedostępne przy prawdziwym zadaniu.

These preparation mistakes give a model information during learning that it would not have in the real task.

Problem it solves

Model wypada świetnie w sprawdzianie, a po uruchomieniu zawodzi, bo korzystał z ukrytych podpowiedzi.

A model excels in a test but fails in use because it relied on hidden clues.

What it does

Sprawdza powtórzenia, moment dostępności informacji i wspólne przetwarzanie zbiorów, szukając sposobów, którymi odpowiedź mogła trafić do nauki.

It checks duplicates, when information became available and shared processing, looking for routes that let answers enter the learning material.

Everyday example

Przewidujesz opóźnienia paczek, ale dane do nauki zawierają faktyczną datę doręczenia, której nie znasz w chwili prognozy.

You predict parcel delays, but training data includes actual delivery dates that are unavailable when the prediction is made.

This concerns you if you…

Examples

Related topics

Sources