Teoria uczenia statystycznego

Statistical learning theory · id learningtheory · aliases: statistical learning theory, learning theory, computational learning theory, teoria uczenia statystycznego, teoria uczenia maszynowego

Dział teorii badający generalizację: błąd na nowych danych, złożoność klasy hipotez i liczbę próbek potrzebną do uczenia.

Theory of generalisation: error on unseen data, hypothesis-class complexity and the sample size needed to learn.

In one sentence

Matematyczne odpowiedzi na pytanie, kiedy i dlaczego maszyna uczona na przykładach poradzi sobie z przypadkami, których nie widziała.

Mathematical answers to when and why a machine trained on examples will handle cases it has never seen.

Problem it solves

Model może świetnie wypaść na znanych danych i zawieść na nowych, a bez teorii trudno przewidzieć, ile przykładów naprawdę wystarczy.

A model can shine on familiar data and fail on new data, and without theory it is hard to tell how many examples are enough.

What it does

Działa jak rachunek ryzyka: wiąże liczbę przykładów i elastyczność modelu z tym, jak bardzo można ufać wynikom na nowych danych.

It works like a risk calculation, tying the number of examples and the model's flexibility to how far results on new data can be trusted.

Everyday example

Zespół zastanawia się, czy tysiąc opisanych zdjęć wystarczy do wytrenowania klasyfikatora, czy trzeba zebrać dziesięć razy więcej.

A team wonders whether a thousand labelled photos are enough to train a classifier or whether they need ten times as many.

This concerns you if you…

• chcesz rozumieć, dlaczego modele w ogóle uogólniają
• decydujesz, ile danych zebrać
• czytasz prace naukowe o uczeniu maszynowym
• want to understand why models generalise at all
• decide how much data to collect
• read research papers on machine learning

Subtopics

• Brak darmowego obiadu i założenia wstępne modelu (No free lunch theorem and inductive bias): Result stating that, averaged over all possible problems, no learning algorithm beats another; success requires inductive bias.
• Podwójne zejście (Double descent): Non-monotonic test-risk curve: classical U shape, a peak at the interpolation threshold and a second descent in the overparameterised regime.
• Uczenie PAC i wymiar VC (PAC learning and VC dimension): Formal learnability model: with probability at least 1−δ the hypothesis error is ≤ ε, with sample size depending on the class's VC dimension.

Sources

• Shalev-Shwartz & Ben-David · Understanding Machine Learning: From Theory to Algorithms · Shai Shalev-Shwartz, Shai Ben-David
• Belkin et al. · Reconciling modern machine learning practice and the bias-variance trade-off · Mikhail Belkin, Daniel Hsu, Siyuan Ma, Soumik Mandal