# Wielorękie bandyty: eksploracja kontra eksploatacja

EN: **Multi-armed and contextual bandits** · id `bandits`

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Uczenie ze wzmocnieniem i decyzje](https://aiatlasgraph.com/t/decisions.md) › [Podstawy RL](https://aiatlasgraph.com/t/rlbasics.md) › Wielorękie bandyty: eksploracja kontra eksploatacja

## Description

- PL: Powtarzalny wybór spośród opcji o nieznanej nagrodzie, z równoważeniem eksploracji nowych możliwości i wykorzystywania dotychczas najlepszych. Stosowany m.in. w rekomendacjach i adaptacyjnych eksperymentach online.
- EN: Repeatedly choosing among options with unknown rewards while balancing exploration of new possibilities against exploitation of the current best. Used in recommendation and adaptive online experimentation.

## In one sentence

- PL: To uczenie się, którą opcję wybierać, przez łączenie próbowania nowych możliwości z korzystaniem z dotychczas najlepszych.
- EN: This learns which option to choose by balancing trying new possibilities with using the best ones found so far.

## Problem it solves

- PL: Nie znasz wyników wszystkich opcji, ale ciągłe próbowanie słabszych możliwości też kosztuje i pogarsza bieżące efekty.
- EN: You do not know every option's results, but repeatedly trying weaker possibilities also costs and reduces current outcomes.

## What it does

- PL: Ocenia rezultaty kolejnych wyborów i dobiera, kiedy wykorzystać znaną dobrą opcję, a kiedy zebrać informacje o innej.
- EN: It evaluates successive choice outcomes and decides when to use a known good option or gather information about another.

## Everyday example

- PL: Strona próbuje różnych propozycji artykułów i częściej pokazuje skuteczne, nadal sprawdzając mniej znane opcje.
- EN: A page tries different article suggestions and shows effective ones more often while still testing less familiar options.

## This concerns you if you…

- PL: wielokrotnie wybierasz między opcjami o nieznanych wynikach
- PL: chcesz równoważyć dobre bieżące efekty ze zbieraniem informacji
- EN: repeatedly choose among options with unknown outcomes
- EN: want to balance current results with gathering information

## Keywords

epsilon-greedy · Upper Confidence Bound · Thompson sampling · contextual bandits · cumulative regret

## How it works

- PL: Po wyborze jednej opcji algorytm obserwuje jej nagrodę i aktualizuje ocenę. Premie za niepewność lub próbkowanie z rozkładu przekonań sterują eksploracją zamiast wybierania zawsze najwyższej średniej.
- EN: After selecting an option, the algorithm observes its reward and updates its estimate. Uncertainty bonuses or sampling from belief distributions guide exploration instead of always choosing the highest mean.

## Limits

- PL: Nagrody niewybranych opcji pozostają nieznane. Opóźniony feedback i zmienne preferencje naruszają proste założenia; eksploracja kosztuje wyniki uzyskane podczas uczenia.
- EN: Rewards for unchosen options remain unknown. Delayed feedback and changing preferences violate simple assumptions; exploration sacrifices outcomes during learning.

## Key terms

- PL: **regret**: Różnica nagród między wybraną strategią a wskazanym punktem odniesienia.
- PL: **Thompson sampling**: Losowanie ocen opcji z rozkładu przekonań i wybór najlepszej w losowaniu.
- EN: **regret**: The reward gap between a chosen strategy and a specified comparator.
- EN: **Thompson sampling**: Sampling option estimates from beliefs and choosing the best in that draw.

## Know first

- [Twierdzenie Bayesa i wnioskowanie bayesowskie (Bayes' theorem and Bayesian inference)](https://aiatlasgraph.com/t/bayesinference.md)

## Examples

- PL: ε-greedy · UCB · próbkowanie Thompsona · bandyty kontekstowe
- EN: ε-greedy · UCB · Thompson sampling · contextual bandits

## Related topics

Untyped, symmetric "see also" links.

- [Eksperymenty produktowe (Product experimentation)](https://aiatlasgraph.com/t/experiments.md)
- [Eksploracja z ciekawości (nagroda wewnętrzna) (Curiosity-driven exploration and intrinsic rewards)](https://aiatlasgraph.com/t/curiosity.md)

## Sources

- [Introduction to Multi-Armed Bandits](<https://arxiv.org/abs/1904.07272>) `slivkins-bandits` · by Aleksandrs Slivkins

---

AI Atlas revision 124 (2026-10-31) · HTML: https://aiatlasgraph.com/t/bandits · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30