# Starzenie się detektorów i realistyczna ocena w czasie EN: **Concept drift and time-aware evaluation of malware detectors** · id `malwaredrift` · aliases: temporal bias in malware classification, TESSERACT, time-aware evaluation, model decay in security, dryf w wykrywaniu malware Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [AI w cyberbezpieczeństwie](https://aiatlasgraph.com/t/cyberai.md) › [Wykrywanie złośliwego oprogramowania](https://aiatlasgraph.com/t/malwareml.md) › Starzenie się detektorów i realistyczna ocena w czasie ## Description - PL: Metody oceny i utrzymania detektorów malware, uwzględniające chronologię danych, realistyczne proporcje klas i spadek skuteczności w czasie. - EN: Methods for evaluating and maintaining malware detectors that respect data chronology, realistic class ratios and performance decay over time. ## In one sentence - PL: Sposób uczciwego sprawdzania, jak długo detektor wirusów zachowa skuteczność, gdy przestępcy zaczną pisać nowe szkodniki. - EN: A fair way to check how long a virus detector keeps working once criminals start writing new malware. ## Problem it solves - PL: Detektory chwalone w publikacjach za niemal stuprocentową skuteczność po wdrożeniu szybko przestają wyłapywać nowe zagrożenia. - EN: Detectors praised in papers for near-perfect accuracy quickly stop catching new threats once deployed. ## What it does - PL: Jak egzamin z pytań, których uczeń nie mógł widzieć: model uczy się na starszych próbkach i jest sprawdzany wyłącznie na późniejszych. - EN: Like an exam with questions the student could not have seen: the model learns from older samples and is tested only on later ones. ## Everyday example - PL: Zespół trenuje detektor na aplikacjach z zeszłego roku i sprawdza go miesiąc po miesiącu na nowych; wykres pokazuje, kiedy trzeba go douczyć. - EN: A team trains a detector on last year's apps and tests it month by month on new ones; the chart shows when it needs retraining. ## This concerns you if you… - PL: publikujesz lub recenzujesz wyniki modeli bezpieczeństwa - PL: utrzymujesz detektor w produkcji - PL: chcesz uniknąć przecieku danych w ocenie - EN: publish or review security model results - EN: maintain a detector in production - EN: want to avoid data leakage in evaluation ## Keywords TESSERACT · temporal split · AUT metric · spatial bias · active learning · classification with rejection · Dos and Don'ts of ML in security ## How it works - PL: Dane dzieli się chronologicznie, tak by wszystkie próbki testowe były późniejsze od treningowych, a proporcje malware w teście odpowiadały rzeczywistości. Skuteczność mierzy się w kolejnych okresach i podsumowuje pole pod krzywą w czasie; spadek łagodzi się douczaniem, uczeniem aktywnym i odrzucaniem niepewnych decyzji. - EN: Data are split chronologically so that all test samples postdate training ones, and the malware share in testing matches reality. Performance is measured over successive periods and summarised as area under the curve over time; decay is mitigated by retraining, active learning and rejecting uncertain decisions. ## Limits - PL: Realistyczna ocena wymaga dokładnych dat pojawienia się próbek, których często brakuje. Częste douczanie potrzebuje świeżych etykiet, a te przychodzą z opóźnieniem. Uczciwe wyniki są niższe od publikowanych, co zniechęca do ich raportowania. - EN: Realistic evaluation needs accurate first-seen dates for samples, which are often missing. Frequent retraining needs fresh labels, which arrive late. Honest results are lower than published ones, which discourages reporting them. ## Key terms - PL: **dryf pojęć**: Zmiana tego, jak wyglądają przykłady danej klasy, w czasie. - PL: **obciążenie czasowe**: Błąd oceny, gdy test zawiera dane starsze niż trening. - PL: **uczenie aktywne**: Model sam wskazuje, które nowe próbki warto ręcznie oznaczyć. - EN: **concept drift**: The way examples of a class change over time. - EN: **temporal bias**: An evaluation error when testing on data older than training. - EN: **active learning**: The model picks which new samples are worth labelling by hand. ## Know first - [Wykrywanie dryfu danych i pojęć (Data and concept drift detection)](https://aiatlasgraph.com/t/driftdetection.md) - [Rodzaje wycieku danych i ich wykrywanie (Types of data leakage and their detection)](https://aiatlasgraph.com/t/leakagetypes.md) ## Related topics Untyped, symmetric "see also" links. - [Uczenie na opóźnionych etykietach i zmieniających się oszustwach (Learning with delayed labels and concept drift in fraud detection)](https://aiatlasgraph.com/t/fraudfeedbackdrift.md) - [Wykrywanie dryfu danych i pojęć (Data and concept drift detection)](https://aiatlasgraph.com/t/driftdetection.md) ## Sources - [TESSERACT: Eliminating Experimental Bias in Malware Classification across Space and Time]() `pendlebury-tesseract-2019` · by Feargus Pendlebury, Fabio Pierazzi, Roberto Jordaney, Johannes Kinder, Lorenzo Cavallaro - [Dos and Don'ts of Machine Learning in Computer Security]() `arp-dos-donts-ml-security-2020` · by Daniel Arp, Erwin Quiring, Feargus Pendlebury, Alexander Warnecke, Fabio Pierazzi, Christian Wressnegger, Lorenzo Cavallaro, Konrad Rieck --- AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/malwaredrift · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30