# Gradient boosting (XGBoost, LightGBM)

EN: **Gradient-boosted trees** · id `gradientboosting`

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Uczenie maszynowe](https://aiatlasgraph.com/t/ml.md) › [Drzewa i metody zespołowe](https://aiatlasgraph.com/t/ensembles.md) › Gradient boosting (XGBoost, LightGBM)

## Description

- PL: Drzewa dodawane jedno po drugim, każde poprawia błędy poprzednich. Od lat standard dla danych tabelarycznych i konkursów.
- EN: Trees added one after another, each correcting the errors of the previous ones. For years the standard for tabular data and competitions.

## In one sentence

- PL: To budowanie przewidywania przez dodawanie kolejnych prostych modeli poprawiających dotychczasowe błędy.
- EN: This builds a prediction by adding simple models that correct earlier errors.

## Problem it solves

- PL: Obecny model stale myli się w niektórych sytuacjach, a jedna zmiana nie usuwa wszystkich pomyłek.
- EN: The current model repeatedly makes mistakes in some situations, and one change does not remove them all.

## What it does

- PL: Dodaje modele zadające pytania o cechy, z których każdy uczy się korekty wspólnej odpowiedzi według pozostałego błędu.
- EN: It adds models that ask feature questions, each learning a correction to the combined answer based on the remaining error.

## Everyday example

- PL: Model przewidujący czas dostawy dostaje kolejne poprawki, gdy wcześniejsze przewidywania zaniżają czas dla dalekich tras lub ciężkich paczek.
- EN: A delivery time model receives successive corrections when earlier predictions underestimate long routes or heavy parcels.

## This concerns you if you…

- PL: chcesz stopniowo poprawiać błędy przewidywań
- PL: masz dane tabelaryczne i możesz porównać modele
- EN: want to improve prediction errors gradually
- EN: have tabular data and can compare models

## Keywords

XGBoost · LightGBM · CatBoost · HistGradientBoosting · shrinkage · tree-based residual fitting

## How it works

- PL: Każde kolejne drzewo dopasowuje korektę do ujemnego gradientu straty aktualnego zespołu. Skalowany wkład nowego modelu dodaje się do dotychczasowej predykcji, kontrolując złożoność drzew i tempo uczenia.
- EN: Each successive tree fits a correction to the current ensemble's negative loss gradient. Its scaled contribution is added to existing predictions, controlling tree complexity and learning rate.

## Limits

- PL: Zbyt wiele korekt może dopasować szum i wyciek. Dobór straty, regularyzacji oraz zatrzymania wpływa na wynik, a trening sekwencyjny ogranicza część możliwości zrównoleglania.
- EN: Too many corrections can fit noise and leakage. Loss, regularisation and stopping choices affect results, while sequential training limits some parallelisation options.

## Key terms

- PL: **ujemny gradient**: Kierunek korekty predykcji zmniejszający bieżącą stratę lokalnie.
- PL: **shrinkage**: Zmniejszanie wkładu kolejnego modelu, by łagodniej aktualizować zespół.
- EN: **negative gradient**: A prediction-correction direction locally reducing current loss.
- EN: **shrinkage**: Reducing each new model's contribution to update the ensemble more gradually.

## Know first

- [Drzewa decyzyjne (Decision trees)](https://aiatlasgraph.com/t/decisiontrees.md)
- [Rachunek różniczkowy i gradienty (Calculus and gradients)](https://aiatlasgraph.com/t/calculus.md)

## Examples

- PL: XGBoost · LightGBM · CatBoost · HistGradientBoosting

## Related topics

Untyped, symmetric "see also" links.

- [Modele bazowe dla danych tabelarycznych (Tabular foundation models)](https://aiatlasgraph.com/t/tabularfm.md)
- [Ocena ryzyka transakcji w czasie rzeczywistym (Real-time transaction risk scoring)](https://aiatlasgraph.com/t/cardfraudscoring.md)
- [Prognozowanie ryzyka z dokumentacji pacjenta (Clinical risk prediction from health records)](https://aiatlasgraph.com/t/clinicalprediction.md)

## Sources

- [scikit-learn User Guide (version 1.9.1)](<https://scikit-learn.org/stable/user_guide.html>) `sklearn-user-guide` · by scikit-learn developers
- [XGBoost: A Scalable Tree Boosting System](<https://arxiv.org/abs/1603.02754>) `chen-xgboost-2016` · by Tianqi Chen, Carlos Guestrin
- [Why do tree-based models still outperform deep learning on tabular data?](<https://arxiv.org/abs/2207.08815>) `grinsztajn-tabular-2022` · by Léo Grinsztajn, Edouard Oyallon, Gaël Varoquaux
- [TabArena — A Living Benchmark for Machine Learning on Tabular Data (repository)](<https://github.com/autogluon/tabarena>) `tabarena-github` · by AutoGluon / zespół TabArena

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/gradientboosting · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30