# Eksploracja losowa: ε-zachłanna i softmax

EN: **Undirected exploration: ε-greedy and Boltzmann (softmax)** · id `epsilongreedy` · aliases: epsilon-greedy, ε-greedy, eksploracja epsilon-zachłanna, Boltzmann exploration, softmax exploration, dithering exploration

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Uczenie ze wzmocnieniem i decyzje](https://aiatlasgraph.com/t/decisions.md) › [Strategie eksploracji w RL](https://aiatlasgraph.com/t/rlexploration.md) › Eksploracja losowa: ε-zachłanna i softmax

## Description

- PL: Nieukierunkowana eksploracja: z prawdopodobieństwem ε losowa akcja, w przeciwnym razie zachłanna; wariant Boltzmanna losuje akcje proporcjonalnie do softmaxu wartości.
- EN: Undirected exploration: a random action with probability ε, otherwise the greedy one; the Boltzmann variant samples actions from a softmax over values.

## In one sentence

- PL: Najprostszy sposób na próbowanie nowego: zwykle wybierasz najlepszy znany ruch, ale co jakiś czas losowy.
- EN: The simplest way to try something new: usually pick the best known move, but now and then a random one.

## Problem it solves

- PL: Program, który zawsze wybiera najlepszą znaną opcję, nigdy nie odkryje, że inna mogła być lepsza.
- EN: A program that always picks the best known option never finds out that another might be better.

## What it does

- PL: Jak rzut monetą przed wyjściem z domu: zwykle idziesz utartą drogą, a czasem los wysyła cię inną trasą.
- EN: Like flipping a coin before leaving home: you usually take the usual route, sometimes chance sends you another way.

## Everyday example

- PL: Aplikacja z przepisami zwykle pokazuje dania, które lubisz, ale co któryś raz podsuwa coś zupełnie innego.
- EN: A recipe app usually shows dishes you like, but every so often slips in something completely different.

## This concerns you if you…

- PL: piszesz pierwszego agenta uczącego się z nagród
- PL: ustawiasz, jak często agent ma działać losowo
- EN: you are writing your first agent that learns from rewards
- EN: you set how often an agent should act randomly

## Keywords

epsilon decay · epsilon schedule · softmax policy · temperature · dithering · DQN

## How it works

- PL: W każdym kroku agent z prawdopodobieństwem ε wybiera akcję losowo, a w pozostałych przypadkach akcję o najwyższej wartości Q; ε zwykle maleje w trakcie treningu. Eksploracja Boltzmanna próbkuje akcje z rozkładu softmax nad wartościami z temperaturą, więc prawie równie dobre akcje są wybierane częściej niż wyraźnie złe.
- EN: At each step the agent picks a random action with probability ε and otherwise the highest-Q action; ε is usually annealed during training. Boltzmann exploration samples actions from a temperature-scaled softmax over values, so nearly-as-good actions are chosen more often than clearly bad ones.

## Limits

- PL: Losowe drgania nie prowadzą wielokrokowej, celowej eksploracji, więc w zadaniach z rzadką nagrodą potrzeba wykładniczo więcej danych. Wymaga ręcznego harmonogramu ε lub temperatury i nie uwzględnia tego, czego agent jeszcze nie wie.
- EN: Random dithering does not perform deliberate multi-step exploration, so sparse-reward tasks may need exponentially more data. It needs a hand-tuned ε or temperature schedule and ignores what the agent does not yet know.

## Key terms

- PL: **ε (epsilon)**: Prawdopodobieństwo wybrania losowego ruchu zamiast najlepszego.
- PL: **wygaszanie ε**: Stopniowe zmniejszanie losowości w miarę postępów uczenia.
- PL: **temperatura**: Parametr softmaxu: wyższa daje bardziej losowe wybory.
- EN: **ε (epsilon)**: Probability of picking a random move instead of the best one.
- EN: **ε annealing**: Gradually reducing randomness as learning progresses.
- EN: **temperature**: Softmax parameter: higher values make choices more random.

## Know first

- [Q-learning i głębokie sieci Q (DQN) (Q-learning and deep Q-networks (DQN))](https://aiatlasgraph.com/t/qlearning.md)
- [Wielorękie bandyty: eksploracja kontra eksploatacja (Multi-armed and contextual bandits)](https://aiatlasgraph.com/t/bandits.md)

## Sources

- [Reinforcement Learning: An Introduction (2nd edition)](<http://incompleteideas.net/book/the-book-2nd.html>) `sutton-barto-rl-2018` · by Richard S. Sutton, Andrew G. Barto
- [Exploration in Deep Reinforcement Learning: A Survey](<https://arxiv.org/abs/2205.00824>) `exploration-drl-survey-2022` · by Pawel Ladosz; Lilian Weng; Minwoo Kim; Hyondong Oh
- [Deep Exploration via Bootstrapped DQN](<https://arxiv.org/abs/1602.04621>) `bootstrapped-dqn-2016` · by Ian Osband; Charles Blundell; Alexander Pritzel; Benjamin Van Roy

---

AI Atlas revision 128 (2026-11-04) · HTML: https://aiatlasgraph.com/t/epsilongreedy · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-11-04