Drzewa i metody zespołowe

Tree ensembles · id ensembles

Łączenie prostszych modeli w silniejszy predyktor.

Combining simpler models into a stronger predictor.

In one sentence

To łączenie odpowiedzi kilku modeli, często opartych na kolejnych pytaniach o cechy danych.

This combines answers from several models, often built from sequences of questions about data features.

Problem it solves

Pojedynczy model może silnie reagować na przypadkowe szczegóły albo stale mylić się w podobnych sytuacjach.

A single model may react strongly to accidental details or repeatedly make mistakes in similar situations.

What it does

Uśrednia lub zestawia głosy różnych modeli albo dodaje kolejne modele, które uczą się poprawiać dotychczasowe błędy.

It averages or combines different model votes, or adds models that learn to correct previous errors.

Everyday example

Przewidywanie czasu dostawy łączy odpowiedzi kilku modeli patrzących na wagę paczki, trasę i dzień wysyłki.

A delivery time prediction combines answers from several models considering parcel weight, route and dispatch day.

This concerns you if you…

• chcesz ograniczać słabości pojedynczego modelu
• pracujesz z danymi zapisanymi w tabelach
• want to reduce the weaknesses of a single model
• work with data recorded in tables

Examples

• Random forest · boosting

Subtopics

• Drzewa decyzyjne (Decision trees): A model that asks a series of if–then questions about features until it reaches an answer. Easy to read but a single tree overfits easily; it is the building block of random forests and boosting.
• Gradient boosting (XGBoost, LightGBM) (Gradient-boosted trees): Trees added one after another, each correcting the errors of the previous ones. For years the standard for tabular data and competitions.
• Las losowy i bagging (Random forests and bagging): Many trees trained on random samples of rows and features, with their votes averaged. A robust out-of-the-box model that is not very sensitive to settings.
• Stacking i łączenie modeli (Stacking and model blending): Stacked generalisation: a meta-model trained on out-of-fold predictions of several base models.

Related topics

• Ogólne zachowanie modelu: ważność cech i wykresy zależności (Global model explanations: feature importance and dependence plots)
• Uśrednianie i interpolacja wag (model soups, SLERP) (Weight averaging and interpolation)

Sources

• Stanford CS229 · Machine Learning (2018, archiwum) · reference: Klasyczne ML, statystyka i podstawy uczenia. Użyte jako stabilny szkielet, nie przegląd nowości.
• Google · Recommendation Systems · reference: Rekomendacje, retrieval, scoring i reranking.