# Ocena i walidacja modeli antyfraudowych

EN: **Evaluating and validating fraud models** · id `fraudmetrics` · aliases: fraud model evaluation, precision top-k, prequential validation, ewaluacja modeli antyfraudowych

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [AI w finansach](https://aiatlasgraph.com/t/finance.md) › [Wykrywanie oszustw płatniczych](https://aiatlasgraph.com/t/frauddetection.md) › Ocena i walidacja modeli antyfraudowych

## Description

- PL: Metryki i schematy walidacji dla wykrywania oszustw: precyzja wśród top-k alertów, krzywe PR, walidacja czasowa z opóźnieniem etykiet.
- EN: Metrics and validation schemes for fraud detection: precision among top-k alerts, PR curves, time-based validation with label delay.

## In one sentence

- PL: Sposoby sprawdzenia, czy system wyłapuje oszustów, gdy oszustw jest garstka, a analitycy przejrzą tylko część alarmów.
- EN: Ways to check whether a system catches fraudsters when fraud is rare and analysts can review only some alerts.

## Problem it solves

- PL: Model może mieć 99,9% trafności i nie złapać żadnego oszusta, bo prawie wszystkie płatności są uczciwe.
- EN: A model can be 99.9% accurate and catch no fraudster at all, because almost every payment is honest.

## What it does

- PL: Zamiast pytać, ile razy model miał rację, pyta, ile prawdziwych oszustw było wśród stu alarmów, które zespół zdążył dziś sprawdzić.
- EN: Instead of asking how often the model was right, it asks how many of today's hundred checked alerts were real fraud.

## Everyday example

- PL: Pięciu analityków przegląda codziennie sto najbardziej podejrzanych kart; model ocenia się po tym, ile z nich naprawdę okazało się skradzionych.
- EN: Five analysts review the hundred most suspicious cards each day; the model is judged by how many of them really turned out to be stolen.

## This concerns you if you…

- PL: oceniasz model na danych z rzadkim zdarzeniem
- PL: decydujesz, ilu analityków potrzebuje zespół antyfraudowy
- EN: evaluate a model on data with a rare event
- EN: decide how many analysts a fraud team needs

## Keywords

precision@k · average precision · PR curve · prequential evaluation · time-based split · delayed labels · card precision

## How it works

- PL: Zamiast trafności używa się metryk odpornych na niezbalansowanie (AUC-PR, średnia precyzja) oraz metryk zależnych od budżetu analityków, np. precyzji wśród k najbardziej podejrzanych kart dziennie. Walidacja jest czasowa: trening na przeszłości, przerwa odpowiadająca opóźnieniu etykiet, test na późniejszym okresie.
- EN: Instead of accuracy, imbalance-robust metrics (AUC-PR, average precision) and analyst-budget metrics are used, such as precision among the k most suspicious cards per day. Validation is time-based: train on the past, leave a gap matching label delay, test on a later period.

## Limits

- PL: Wynik zależy od budżetu analityków i definicji etykiety, więc prace trudno porównywać. Opóźnione i niepełne etykiety zaniżają liczbę oszustw. Losowy podział danych zawyża wyniki przez wyciek informacji z przyszłości.
- EN: Results depend on the analyst budget and label definition, so studies are hard to compare. Late and incomplete labels undercount fraud. A random data split inflates results through leakage from the future.

## Key terms

- PL: **precision@k**: Jaki odsetek k najwyżej ocenionych alertów to prawdziwe oszustwa.
- PL: **AUC-PR**: Pole pod krzywą precyzja–czułość, czułe na rzadkie klasy.
- PL: **walidacja czasowa**: Uczenie na przeszłości i test na późniejszym okresie.
- EN: **precision@k**: Share of the k top-scored alerts that are real fraud.
- EN: **AUC-PR**: Area under the precision–recall curve, sensitive to rare classes.
- EN: **time-based validation**: Training on the past and testing on a later period.

## Know first

- [Metryki klasyfikacji i regresji (Classification and regression metrics)](https://aiatlasgraph.com/t/classmetrics.md)
- [Rodzaje wycieku danych i ich wykrywanie (Types of data leakage and their detection)](https://aiatlasgraph.com/t/leakagetypes.md)

## Related topics

Untyped, symmetric "see also" links.

- [Uczenie na opóźnionych etykietach i zmieniających się oszustwach (Learning with delayed labels and concept drift in fraud detection)](https://aiatlasgraph.com/t/fraudfeedbackdrift.md)
- [Wykrywanie dryfu danych i pojęć (Data and concept drift detection)](https://aiatlasgraph.com/t/driftdetection.md)

## Sources

- [Reproducible Machine Learning for Credit Card Fraud Detection – Practical Handbook](<https://fraud-detection-handbook.github.io/fraud-detection-handbook/Chapter_2_Background/MachineLearningForFraudDetection.html>) `fraud-detection-handbook-2022` · by Yann-Aël Le Borgne, Wissam Siblini, Bertrand Lebichot, Gianluca Bontempi (Université Libre de Bruxelles)

---

AI Atlas revision 124 (2026-10-31) · HTML: https://aiatlasgraph.com/t/fraudmetrics · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30