Metryki i schematy walidacji dla wykrywania oszustw: precyzja wśród top-k alertów, krzywe PR, walidacja czasowa z opóźnieniem etykiet.
Metrics and validation schemes for fraud detection: precision among top-k alerts, PR curves, time-based validation with label delay.
Sposoby sprawdzenia, czy system wyłapuje oszustów, gdy oszustw jest garstka, a analitycy przejrzą tylko część alarmów.
Ways to check whether a system catches fraudsters when fraud is rare and analysts can review only some alerts.
Model może mieć 99,9% trafności i nie złapać żadnego oszusta, bo prawie wszystkie płatności są uczciwe.
A model can be 99.9% accurate and catch no fraudster at all, because almost every payment is honest.
Zamiast pytać, ile razy model miał rację, pyta, ile prawdziwych oszustw było wśród stu alarmów, które zespół zdążył dziś sprawdzić.
Instead of asking how often the model was right, it asks how many of today's hundred checked alerts were real fraud.
Pięciu analityków przegląda codziennie sto najbardziej podejrzanych kart; model ocenia się po tym, ile z nich naprawdę okazało się skradzionych.
Five analysts review the hundred most suspicious cards each day; the model is judged by how many of them really turned out to be stolen.