# Wstrzymanie się od odpowiedzi przy niepewności (selective prediction)

EN: **Selective prediction and abstention** · id `selectiveprediction` · aliases: selective prediction, selective classification, abstention, prediction with reject option, predykcja selektywna, klasyfikacja z odrzuceniem

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Ewaluacja i interpretowalność](https://aiatlasgraph.com/t/evaluation.md) › [Odporność i niepewność](https://aiatlasgraph.com/t/robustness.md) › Wstrzymanie się od odpowiedzi przy niepewności (selective prediction)

## Description

- PL: Klasyfikacja i generowanie z opcją odmowy: model odpowiada tylko przy wystarczającej pewności, a ocena bada kompromis między pokryciem a ryzykiem błędu.
- EN: Classification and generation with a reject option: the model answers only when confident enough, and evaluation studies the coverage–risk trade-off.

## In one sentence

- PL: Uczenie modelu, by mówił „nie wiem” albo oddawał sprawę człowiekowi, gdy ryzyko błędu jest za duże.
- EN: Teaching a model to say “I don't know” or hand the case to a person when the risk of error is too high.

## Problem it solves

- PL: Model odpowiada na wszystko tym samym pewnym tonem, więc nie wiadomo, którym odpowiedziom wolno zaufać bez sprawdzania.
- EN: A model answers everything in the same confident tone, so you cannot tell which answers are safe to trust unchecked.

## What it does

- PL: Jak lekarz rodzinny, który proste przypadki załatwia sam, a nietypowe kieruje do specjalisty, zamiast zgadywać.
- EN: Like a family doctor who handles simple cases and refers unusual ones to a specialist instead of guessing.

## Everyday example

- PL: System sprawdzający faktury zatwierdza sam większość dokumentów, a te o niejasnej treści odkłada do ręcznego przejrzenia.
- EN: An invoice-checking system approves most documents itself and sets aside unclear ones for manual review.

## This concerns you if you…

- PL: błędna odpowiedź AI kosztuje więcej niż brak odpowiedzi
- PL: projektujesz proces, w którym człowiek sprawdza trudne przypadki
- EN: a wrong AI answer costs more than no answer
- EN: design a process where people review hard cases

## Keywords

selective classification · reject option · risk-coverage curve · AURC · learning to defer · abstention benchmarks · SelectiveNet · uncertainty thresholds

## How it works

- PL: Funkcja selekcji (np. próg na pewności, wariancji próbek lub osobny model) decyduje, czy odpowiedzieć. Dla klasyfikatorów można dobrać próg tak, by gwarantować zadane ryzyko z wysokim prawdopodobieństwem. W modelach językowych abstencja uwzględnia też niejasne pytania i wartości, a ocenia się ją precyzją i czułością odmów.
- EN: A selection function (e.g. a threshold on confidence, sample variance or a separate model) decides whether to answer. For classifiers the threshold can be set to guarantee a target risk with high probability. In language models abstention also covers ambiguous queries and values, evaluated by abstention precision and recall.

## Limits

- PL: Działa tylko tak dobrze, jak dobra jest ocena niepewności; przy zmianie danych model może być pewny i błędny. Zbyt częste odmowy obniżają użyteczność, a jedna metryka nie oddaje całego zachowania.
- EN: It works only as well as the uncertainty estimate; under data shift a model can be confident and wrong. Excessive refusals hurt usefulness, and no single metric captures overall behaviour.

## Key terms

- PL: **pokrycie**: Jaka część pytań dostaje odpowiedź, a nie odmowę.
- PL: **krzywa ryzyko–pokrycie**: Jak rośnie odsetek błędów, gdy model odpowiada na coraz więcej pytań.
- EN: **coverage**: The share of questions that get an answer rather than a refusal.
- EN: **risk–coverage curve**: How error rate grows as the model answers more questions.

## Know first

- [Kalibracja pewności modelu (Confidence calibration)](https://aiatlasgraph.com/t/calibration.md)

## Related topics

Untyped, symmetric "see also" links.

- [Predykcja konformalna (Conformal prediction)](https://aiatlasgraph.com/t/conformalprediction.md)
- [Wykrywanie halucynacji (Hallucination detection)](https://aiatlasgraph.com/t/hallucinationdetect.md)

## Sources

- [Selective Classification for Deep Neural Networks](<https://arxiv.org/abs/1705.08500>) `selective-classification-2017` · by Yonatan Geifman, Ran El-Yaniv
- [Know Your Limits: A Survey of Abstention in Large Language Models](<https://arxiv.org/abs/2407.18418>) `abstention-survey-2024` · by Bingbing Wen, Jihan Yao, Shangbin Feng, Chenjun Xu, Yulia Tsvetkov, Bill Howe, Lucy Lu Wang

---

AI Atlas revision 131 (2026-11-07) · HTML: https://aiatlasgraph.com/t/selectiveprediction · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-11-06