Odporność i niepewność

Robustness and calibration · id robustness

Zachowanie na nietypowych danych i wiarygodność pewności.

Behaviour on unusual data, and how trustworthy the confidence is.

In one sentence

To sprawdzanie modelu na nietypowych danych i ocenianie, czy jego pewności można ufać.

This tests a model on unusual data and assesses whether its confidence is reliable.

Problem it solves

Nowy rodzaj pytania lub danych może wywołać pewną odpowiedź, choć model nie radzi sobie z taką sytuacją.

A new kind of question or data can produce a confident answer even when the model cannot handle the situation.

What it does

Porównuje deklarowaną pewność z trafnością, szuka nieznanych przypadków i sprawdza zgodność twierdzeń z dostępnymi dowodami.

It compares confidence with accuracy, looks for unfamiliar cases and checks claims against available evidence.

Everyday example

Asystent dostaje pytanie o nową zasadę sklepu; sprawdzasz źródło i kierujesz niepewną sprawę do człowieka.

An assistant receives a question about a new shop policy; you check the source and refer the uncertain case to a person.

This concerns you if you…

• twoje dane lub pytania zmieniają się w czasie
• chcesz rozpoznawać, kiedy odpowiedź wymaga dodatkowej kontroli
• have data or questions that change over time
• want to recognise answers needing additional checking

Examples

• Distribution shift · kalibracja · wykrywanie OOD · halucynacje · abstencja
• Distribution shift · calibration · OOD detection · hallucinations · abstention

Subtopics

• Kalibracja pewności modelu (Confidence calibration): Whether a predicted probability or other confidence score matches how often the model is right — e.g. whether 80%-confidence predictions are correct about 80% of the time — and how to correct a mismatch.
• Predykcja konformalna (Conformal prediction): Methods that equip any model with prediction sets or intervals having controlled marginal coverage under exchangeable data, without parametric distribution assumptions.
• Wykrywanie halucynacji (Hallucination detection): Checking whether a model is inventing facts: against the provided source, against outside knowledge, or by how much its answers vary when the question is repeated.
• Wykrywanie przykładów spoza rozkładu (OOD) (Out-of-distribution detection): Recognising inputs that do not fit the training-data distribution, so the system can raise an alert, abstain or hand the decision to a person.

Related topics

• Aktywne uczenie (active learning) (Active learning)
• Omijanie detektorów malware przykładami adwersarialnymi (Adversarial evasion of malware detectors)
• Twierdzenie Bayesa i wnioskowanie bayesowskie (Bayes' theorem and Bayesian inference)

Sources

• Full Stack Deep Learning (2022, archiwum) · reference: Pełny cykl systemu ML: dane, testy, wdrażanie, monitoring, zespoły i etyka.
• Hugging Face · Agents Course · reference: Agenci, narzędzia, frameworki, agentic RAG i ewaluacja.
• Stanford CS229 · Machine Learning (2018, archiwum) · reference: Klasyczne ML, statystyka i podstawy uczenia. Użyte jako stabilny szkielet, nie przegląd nowości.
• AI Evals: Everything You Need to Know · Hamel Husain, Shreya Shankar