Funkcje straty (entropia krzyżowa, MSE)

Loss functions (cross-entropy, MSE) · id lossfunctions · aliases: loss function, funkcja straty, funkcja kosztu, cross-entropy, entropia krzyżowa, MSE, mean squared error

Liczba, którą trening minimalizuje: mówi, jak bardzo przewidywania odbiegają od celu. Entropia krzyżowa służy do klasyfikacji i przewidywania następnego tokenu, błąd średniokwadratowy (MSE) do regresji i m.in. do przewidywania szumu w modelach dyfuzyjnych.

The number training minimises: how far predictions are from the target. Cross-entropy is used for classification and next-token prediction; mean squared error (MSE) for regression and, among others, noise prediction in diffusion models.

In one sentence

To sposób zapisania błędu modelu jako liczby, którą trening próbuje zmniejszyć.

This expresses a model's error as a number that training tries to reduce.

Problem it solves

Musisz określić, które pomyłki są kosztowne, zanim model będzie mógł poprawiać swoje przewidywania.

You need to specify which mistakes are costly before a model can improve its predictions.

What it does

Porównuje przewidywania z oczekiwanym wynikiem i nadaje pomyłkom koszt według wybranej reguły.

It compares predictions with expected outcomes and assigns mistakes a cost according to a chosen rule.

Everyday example

Ucząc prognozy czasu dostawy, wybierasz miarę, która mocniej karze duże pomyłki niż niewielkie odchylenia.

When training delivery-time predictions, you choose a measure that penalises large mistakes more than small deviations.

This concerns you if you…

Examples

Related topics

Sources