# Odporność i niepewność

EN: **Robustness and calibration** · id `robustness`

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Ewaluacja i interpretowalność](https://aiatlasgraph.com/t/evaluation.md) › Odporność i niepewność

## Description

- PL: Zachowanie na nietypowych danych i wiarygodność pewności.
- EN: Behaviour on unusual data, and how trustworthy the confidence is.

## In one sentence

- PL: To sprawdzanie modelu na nietypowych danych i ocenianie, czy jego pewności można ufać.
- EN: This tests a model on unusual data and assesses whether its confidence is reliable.

## Problem it solves

- PL: Nowy rodzaj pytania lub danych może wywołać pewną odpowiedź, choć model nie radzi sobie z taką sytuacją.
- EN: A new kind of question or data can produce a confident answer even when the model cannot handle the situation.

## What it does

- PL: Porównuje deklarowaną pewność z trafnością, szuka nieznanych przypadków i sprawdza zgodność twierdzeń z dostępnymi dowodami.
- EN: It compares confidence with accuracy, looks for unfamiliar cases and checks claims against available evidence.

## Everyday example

- PL: Asystent dostaje pytanie o nową zasadę sklepu; sprawdzasz źródło i kierujesz niepewną sprawę do człowieka.
- EN: An assistant receives a question about a new shop policy; you check the source and refer the uncertain case to a person.

## This concerns you if you…

- PL: twoje dane lub pytania zmieniają się w czasie
- PL: chcesz rozpoznawać, kiedy odpowiedź wymaga dodatkowej kontroli
- EN: have data or questions that change over time
- EN: want to recognise answers needing additional checking

## Keywords

distribution shift · adversarial perturbations · selective prediction · abstention · risk-coverage curves · uncertainty estimation · OOD scoring · reliability diagrams

## How it works

- PL: Kontrolowane perturbacje, zmiany rozkładu i nowe przypadki sprawdzają stabilność zachowania. Wyniki zestawia się z pewnością predykcji oraz polityką wstrzymania odpowiedzi, badając kompromis między pokryciem a ryzykiem błędu.
- EN: Controlled perturbations, distribution shifts and novel cases test behavioural stability. Outcomes are compared with prediction confidence and abstention policies, examining trade-offs between coverage and error risk.

## Limits

- PL: Odporność na wybrane zakłócenia nie obejmuje wszystkich zmian. Pewność może być myląca poza rozkładem, a wstrzymywanie odpowiedzi zmniejsza dostępność systemu.
- EN: Robustness to selected disturbances does not cover every shift. Confidence can mislead outside the distribution, while abstention reduces system availability.

## Key terms

- PL: **perturbacja**: Kontrolowana zmiana wejścia służąca do badania stabilności predykcji.
- PL: **abstencja**: Rezygnacja z odpowiedzi, gdy kryterium pewności lub bezpieczeństwa nie jest spełnione.
- EN: **perturbation**: A controlled input modification used to test prediction stability.
- EN: **abstention**: Withholding an answer when confidence or safety criteria are unmet.

## Know first

- [Zbiory testowe i regresje (Evaluation datasets and regression tests)](https://aiatlasgraph.com/t/evalsets.md)
- [Rozkłady prawdopodobieństwa (Probability distributions)](https://aiatlasgraph.com/t/distributions.md)

## Examples

- PL: Distribution shift · kalibracja · wykrywanie OOD · halucynacje · abstencja
- EN: Distribution shift · calibration · OOD detection · hallucinations · abstention

## Subtopics (4 direct, 4 in total)

- [Kalibracja pewności modelu (Confidence calibration)](https://aiatlasgraph.com/t/calibration.md): Whether a predicted probability or other confidence score matches how often the model is right — e.g. whether 80%-confidence predictions are correct about 80% of the time — and how to correct a mismatch.
- [Predykcja konformalna (Conformal prediction)](https://aiatlasgraph.com/t/conformalprediction.md): Methods that equip any model with prediction sets or intervals having controlled marginal coverage under exchangeable data, without parametric distribution assumptions.
- [Wykrywanie halucynacji (Hallucination detection)](https://aiatlasgraph.com/t/hallucinationdetect.md): Checking whether a model is inventing facts: against the provided source, against outside knowledge, or by how much its answers vary when the question is repeated.
- [Wykrywanie przykładów spoza rozkładu (OOD) (Out-of-distribution detection)](https://aiatlasgraph.com/t/ooddetection.md): Recognising inputs that do not fit the training-data distribution, so the system can raise an alert, abstain or hand the decision to a person.

## Related topics

Untyped, symmetric "see also" links.

- [Aktywne uczenie (active learning) (Active learning)](https://aiatlasgraph.com/t/activelearning.md)
- [Omijanie detektorów malware przykładami adwersarialnymi (Adversarial evasion of malware detectors)](https://aiatlasgraph.com/t/advmalware.md)
- [Twierdzenie Bayesa i wnioskowanie bayesowskie (Bayes' theorem and Bayesian inference)](https://aiatlasgraph.com/t/bayesinference.md)

## Sources

- [Full Stack Deep Learning (2022, archiwum)](<https://fullstackdeeplearning.com/course/2022/>) `fsdl` · reference: Pełny cykl systemu ML: dane, testy, wdrażanie, monitoring, zespoły i etyka.
- [Hugging Face · Agents Course](<https://huggingface.co/learn/agents-course/en/unit0/introduction>) `agents` · reference: Agenci, narzędzia, frameworki, agentic RAG i ewaluacja.
- [Stanford CS229 · Machine Learning (2018, archiwum)](<https://cs229.stanford.edu/syllabus-autumn2018.html>) `cs229` · reference: Klasyczne ML, statystyka i podstawy uczenia. Użyte jako stabilny szkielet, nie przegląd nowości.
- [AI Evals: Everything You Need to Know](<https://hamel.dev/blog/posts/evals-faq/>) `hamel-evals-faq` · by Hamel Husain, Shreya Shankar

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/robustness · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30