# Strategie eksploracji w RL EN: **Exploration strategies in reinforcement learning** · id `rlexploration` · aliases: exploration strategies, eksploracja w RL, exploration–exploitation in RL Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Uczenie ze wzmocnieniem i decyzje](https://aiatlasgraph.com/t/decisions.md) › Strategie eksploracji w RL ## Description - PL: Metody decydujące, jak agent RL zbiera nowe doświadczenia, równoważąc eksplorację nieznanych stanów i akcji z eksploatacją bieżącej polityki. - EN: Methods deciding how an RL agent gathers new experience, balancing exploration of unknown states and actions against exploiting the current policy. ## In one sentence - PL: Sposoby, dzięki którym uczący się program próbuje nowych ruchów, zamiast powtarzać tylko to, co już zna. - EN: Ways for a learning program to try new moves instead of repeating only what it already knows. ## Problem it solves - PL: Gdy nagroda pojawia się rzadko, program działający na ślepo może nigdy nie natrafić na nic, z czego mógłby się uczyć. - EN: When rewards are rare, a program acting blindly may never stumble on anything it can learn from. ## What it does - PL: Jak turysta w nowym mieście: czasem wraca do sprawdzonej knajpy, a czasem celowo skręca w nieznaną uliczkę. - EN: Like a tourist in a new city: sometimes returning to a trusted café, sometimes deliberately turning down an unknown street. ## Everyday example - PL: Postać w grze uczy się przejść labirynt, w którym jedyna nagroda czeka dopiero za kilkoma zamkniętymi drzwiami. - EN: A game character learns a maze where the only reward waits behind several locked doors. ## This concerns you if you… - PL: uczysz agenta zadania, w którym sukces zdarza się rzadko - PL: twój agent utknął, powtarzając wciąż te same ruchy - PL: chcesz zrozumieć, skąd agent wie, czego jeszcze spróbować - EN: you train an agent on a task where success is rare - EN: your agent got stuck repeating the same moves - EN: want to know how an agent decides what to try next ## Keywords epsilon-greedy · Boltzmann exploration · UCB · count-based exploration · pseudo-counts · Thompson sampling · Bootstrapped DQN · NoisyNet · Random Network Distillation · Go-Explore · Montezuma's Revenge · Agent57 · safe exploration ## How it works - PL: Strategie dzielą się na losowe zaburzanie akcji, premie za nowość lub niepewność dodawane do nagrody, próbkowanie z rozkładu możliwych modeli lub funkcji wartości oraz metody pamiętające odwiedzone stany i wracające do obiecujących. W problemach z rzadką nagrodą wybór strategii często decyduje o tym, czy agent w ogóle się czegoś nauczy. - EN: Strategies range from random action perturbation, novelty or uncertainty bonuses added to the reward, and sampling from a distribution over models or value functions, to methods that remember visited states and return to promising ones. With sparse rewards, the choice often decides whether the agent learns anything at all. ## Limits - PL: Eksploracja kosztuje: agent świadomie wybiera akcje gorsze w danej chwili, co bywa niebezpieczne w świecie fizycznym. Premie za nowość mogą przyciągać do szumu, a metody oparte na niepewności są trudne do skalowania w dużych sieciach. - EN: Exploration has a cost: the agent knowingly takes momentarily worse actions, which can be unsafe in the physical world. Novelty bonuses can be drawn to noise, and uncertainty-based methods are hard to scale to large networks. ## Key terms - PL: **rzadka nagroda**: Sygnał sukcesu pojawia się bardzo rzadko, więc trudno go przypadkiem znaleźć. - PL: **eksploracja głęboka**: Celowe, wielokrokowe dążenie do nieznanych stanów, a nie pojedyncze losowe ruchy. - PL: **nagroda wewnętrzna**: Dodatkowa nagroda wymyślona przez agenta, np. za nowość sytuacji. - EN: **sparse reward**: The success signal appears so rarely it is hard to find by chance. - EN: **deep exploration**: Deliberate multi-step pursuit of unknown states, not single random moves. - EN: **intrinsic reward**: An extra reward the agent generates itself, e.g. for novelty. ## Know first - [Wielorękie bandyty: eksploracja kontra eksploatacja (Multi-armed and contextual bandits)](https://aiatlasgraph.com/t/bandits.md) - [Proces decyzyjny Markowa (MDP) (Markov decision processes (MDP))](https://aiatlasgraph.com/t/mdp.md) ## Subtopics (6 direct, 6 in total) - [Eksploracja losowa: ε-zachłanna i softmax (Undirected exploration: ε-greedy and Boltzmann (softmax))](https://aiatlasgraph.com/t/epsilongreedy.md): Undirected exploration: a random action with probability ε, otherwise the greedy one; the Boltzmann variant samples actions from a softmax over values. - [Eksploracja przez liczenie odwiedzin i optymizm (Count-based exploration and optimism under uncertainty)](https://aiatlasgraph.com/t/countexploration.md): An exploration bonus that shrinks with the visit count of a state or state–action pair, implementing optimism under uncertainty; pseudo-counts extend it to large spaces. - [Eksploracja przez próbkowanie hipotez (posterior sampling) (Posterior sampling and randomised value functions)](https://aiatlasgraph.com/t/posteriorsampling.md): Thompson sampling for RL: the agent samples a model or value function from the posterior and acts greedily on it for a whole episode. - [Eksploracja przez szum w parametrach sieci (NoisyNet) (Parameter-space noise for exploration (NoisyNet))](https://aiatlasgraph.com/t/noisynets.md): Exploration through learned noise added to the weights of a policy or Q network, with its scale trained by gradient descent alongside the other parameters. - [Eksploracja z ciekawości (nagroda wewnętrzna) (Curiosity-driven exploration and intrinsic rewards)](https://aiatlasgraph.com/t/curiosity.md): The agent earns an extra reward for novel or hard-to-predict situations, which helps when external reward is sparse. - [Go-Explore: wróć do obiecującego miejsca, potem eksploruj (Go-Explore: return-then-explore)](https://aiatlasgraph.com/t/goexplore.md): An algorithm family for hard-exploration problems: an archive of visited states, returning to promising ones and exploring from them, then robustifying the solutions found. ## Sources - [Exploration in Deep Reinforcement Learning: A Survey]() `exploration-drl-survey-2022` · by Pawel Ladosz; Lilian Weng; Minwoo Kim; Hyondong Oh --- AI Atlas revision 128 (2026-11-04) · HTML: https://aiatlasgraph.com/t/rlexploration · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-11-04