Walidacja i dobór modelu

Model selection and validation · id modelselection

Jak rzetelnie sprawdzić, czy model uogólnia na nowe dane, i jak wybrać model oraz jego ustawienia bez oszukiwania samego siebie.

How to check reliably whether a model generalises to new data, and how to choose a model and its settings without fooling yourself.

In one sentence

To sprawdzanie modeli na nowych przykładach i wybieranie tego, który najlepiej odpowiada twojemu zadaniu.

This checks models on new examples and selects the one that best fits your task.

Model może świetnie radzić sobie z przykładami, które już widział, a zawodzić przy nowych.

A model can perform very well on examples it has already seen and fail on new ones.

Oddziela dane do nauki od danych do oceny, porównuje modele i ustawienia oraz sprawdza, czy nie dopasowujesz wyboru do testu.

It separates learning data from evaluation data, compares models and settings, and checks whether your selection is being fitted to the test.

Porównujesz modele przewidujące zwroty zakupów na osobnych danych, a wybrany model sprawdzasz na odłożonym końcowym teście.

You compare models predicting purchase returns on separate data, then check the selected model on a reserved final test.

AutoML — automatyczny dobór modeli (Automated machine learning (AutoML)): Tools that prepare features, try many models and settings, and ensemble the best ones automatically.
Przeuczenie, niedouczenie i regularyzacja (Overfitting, underfitting and regularisation): The trade-off between a model that is too simple (misses the pattern) and one fitted too closely to training data (learns noise), and techniques that counter it.
Strojenie hiperparametrów (Hyperparameter tuning): Searching for model settings that are not learned from data (tree depth, regularisation strength, learning rate) using validation results.
Walidacja krzyżowa (Cross-validation): Repeatedly splitting data into training and validation parts (e.g. 5 folds) so the estimate does not depend on one lucky split.