Czy przewidywane prawdopodobieństwo lub inna miara pewności odpowiada temu, jak często model ma rację — np. czy predykcje z pewnością 80% są trafne w ok. 80% przypadków — i jak skorygować rozbieżność.
Whether a predicted probability or other confidence score matches how often the model is right — e.g. whether 80%-confidence predictions are correct about 80% of the time — and how to correct a mismatch.
To sprawdzanie i poprawianie zgodności pewności modelu z tym, jak często jego odpowiedzi są trafne.
This checks and improves agreement between model confidence and how often its answers are correct.
Wysoka pewność może sugerować niezawodność, choć model z takim sygnałem myli się częściej, niż oczekujesz.
High confidence may suggest reliability even when answers carrying that signal are wrong more often than expected.
Grupuje przewidywania według pewności, porównuje ją z rzeczywistą trafnością i dopasowuje sposób przeliczania tych ocen.
It groups predictions by confidence, compares that confidence with actual accuracy and adjusts how the scores are converted.
Sprawdzasz poprawność odpowiedzi oznaczonych jako bardzo pewne i odkrywasz, że wskaźnik trzeba skorygować przed pokazaniem użytkownikom.
You check answers marked highly confident and find that the confidence display needs correction before users see it.