# Teoria uczenia statystycznego EN: **Statistical learning theory** · id `learningtheory` · aliases: statistical learning theory, learning theory, computational learning theory, teoria uczenia statystycznego, teoria uczenia maszynowego Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Fundamenty i rozumowanie](https://aiatlasgraph.com/t/foundations.md) › Teoria uczenia statystycznego ## Description - PL: Dział teorii badający generalizację: błąd na nowych danych, złożoność klasy hipotez i liczbę próbek potrzebną do uczenia. - EN: Theory of generalisation: error on unseen data, hypothesis-class complexity and the sample size needed to learn. ## In one sentence - PL: Matematyczne odpowiedzi na pytanie, kiedy i dlaczego maszyna uczona na przykładach poradzi sobie z przypadkami, których nie widziała. - EN: Mathematical answers to when and why a machine trained on examples will handle cases it has never seen. ## Problem it solves - PL: Model może świetnie wypaść na znanych danych i zawieść na nowych, a bez teorii trudno przewidzieć, ile przykładów naprawdę wystarczy. - EN: A model can shine on familiar data and fail on new data, and without theory it is hard to tell how many examples are enough. ## What it does - PL: Działa jak rachunek ryzyka: wiąże liczbę przykładów i elastyczność modelu z tym, jak bardzo można ufać wynikom na nowych danych. - EN: It works like a risk calculation, tying the number of examples and the model's flexibility to how far results on new data can be trusted. ## Everyday example - PL: Zespół zastanawia się, czy tysiąc opisanych zdjęć wystarczy do wytrenowania klasyfikatora, czy trzeba zebrać dziesięć razy więcej. - EN: A team wonders whether a thousand labelled photos are enough to train a classifier or whether they need ten times as many. ## This concerns you if you… - PL: chcesz rozumieć, dlaczego modele w ogóle uogólniają - PL: decydujesz, ile danych zebrać - PL: czytasz prace naukowe o uczeniu maszynowym - EN: want to understand why models generalise at all - EN: decide how much data to collect - EN: read research papers on machine learning ## Keywords PAC learning · VC dimension · Rademacher complexity · empirical risk minimization · generalization bounds · sample complexity · bias-complexity tradeoff · no free lunch theorem · double descent · benign overfitting · structural risk minimization · PAC-Bayes ## How it works - PL: Uczenie formalizuje się jako minimalizację ryzyka empirycznego w klasie hipotez przy nieznanym rozkładzie danych. Ograniczenia generalizacji wiążą lukę między błędem treningowym a prawdziwym z miarami złożoności (wymiar VC, złożoność Rademachera) i liczbą próbek. Klasyczny kompromis między dopasowaniem a złożonością uzupełniają dziś zjawiska takie jak podwójne zejście w modelach przeparametryzowanych. - EN: Learning is formalised as empirical risk minimisation over a hypothesis class under an unknown data distribution. Generalisation bounds link the gap between training and true error to complexity measures (VC dimension, Rademacher complexity) and sample size. Modern phenomena such as double descent in overparameterised models now complement the classical fit-versus-complexity trade-off. ## Limits - PL: Klasyczne ograniczenia są zwykle zbyt luźne, by przewidzieć liczby dla dużych sieci neuronowych. Zakładają niezależne próbki z tego samego rozkładu, co w praktyce często nie zachodzi. - EN: Classical bounds are usually too loose to predict numbers for large neural networks. They assume independent samples from one distribution, which often does not hold in practice. ## Key terms - PL: **ERM**: Wybór modelu o najmniejszym błędzie na danych treningowych. - PL: **klasa hipotez**: Zbiór wszystkich modeli, spośród których algorytm może wybierać. - PL: **luka generalizacji**: Różnica między błędem na treningu a błędem na nowych danych. - EN: **ERM**: Choosing the model with the lowest error on the training data. - EN: **hypothesis class**: The set of all models the algorithm may choose from. - EN: **generalisation gap**: Difference between training error and error on new data. ## Know first - [Uczenie nadzorowane (Supervised learning)](https://aiatlasgraph.com/t/supervised.md) - [Rozkłady prawdopodobieństwa (Probability distributions)](https://aiatlasgraph.com/t/distributions.md) ## Subtopics (3 direct, 3 in total) - [Brak darmowego obiadu i założenia wstępne modelu (No free lunch theorem and inductive bias)](https://aiatlasgraph.com/t/nofreelunch.md): Result stating that, averaged over all possible problems, no learning algorithm beats another; success requires inductive bias. - [Podwójne zejście (Double descent)](https://aiatlasgraph.com/t/doubledescent.md): Non-monotonic test-risk curve: classical U shape, a peak at the interpolation threshold and a second descent in the overparameterised regime. - [Uczenie PAC i wymiar VC (PAC learning and VC dimension)](https://aiatlasgraph.com/t/pacvc.md): Formal learnability model: with probability at least 1−δ the hypothesis error is ≤ ε, with sample size depending on the class's VC dimension. ## Sources - [Shalev-Shwartz & Ben-David · Understanding Machine Learning: From Theory to Algorithms]() `shalev-bendavid-uml-2014` · by Shai Shalev-Shwartz, Shai Ben-David - [Belkin et al. · Reconciling modern machine learning practice and the bias-variance trade-off]() `belkin-doubledescent-2019` · by Mikhail Belkin, Daniel Hsu, Siyuan Ma, Soumik Mandal --- AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/learningtheory · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30