# Eksploracja przez liczenie odwiedzin i optymizm EN: **Count-based exploration and optimism under uncertainty** · id `countexploration` · aliases: count-based exploration, pseudo-counts, exploration bonus, optimism in the face of uncertainty, premia za eksplorację Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Uczenie ze wzmocnieniem i decyzje](https://aiatlasgraph.com/t/decisions.md) › [Strategie eksploracji w RL](https://aiatlasgraph.com/t/rlexploration.md) › Eksploracja przez liczenie odwiedzin i optymizm ## Description - PL: Premia eksploracyjna malejąca z liczbą odwiedzin stanu (lub pary stan–akcja), realizująca zasadę optymizmu wobec niepewności; pseudo-liczniki uogólniają ją na duże przestrzenie. - EN: An exploration bonus that shrinks with the visit count of a state or state–action pair, implementing optimism under uncertainty; pseudo-counts extend it to large spaces. ## In one sentence - PL: Program dostaje dodatkowy punkt za odwiedzenie miejsc, w których był rzadko, więc chętniej tam zagląda. - EN: The program earns a bonus for visiting places it has rarely been, so it is drawn there. ## Problem it solves - PL: Agent kręci się w znanych rejonach i nie wie, które miejsca są dla niego jeszcze zagadką. - EN: An agent circles familiar areas and cannot tell which places are still a mystery to it. ## What it does - PL: Jak lista odwiedzonych sklepów: im rzadziej byłeś w danym, tym bardziej zakładasz, że może cię mile zaskoczyć. - EN: Like a list of visited shops: the less often you have been to one, the more you assume it might surprise you. ## Everyday example - PL: Robot sprzątający zapamiętuje, gdzie już był, i kieruje się w kąty mieszkania odwiedzane najrzadziej. - EN: A cleaning robot remembers where it has been and heads for the corners of the flat it visits least. ## This concerns you if you… - PL: agent pomija rzadko odwiedzane części środowiska - PL: chcesz nagradzać agenta za odkrywanie nowych stanów - EN: your agent skips rarely visited parts of the environment - EN: want to reward an agent for discovering new states ## Keywords pseudo-counts · density models · #Exploration hashing · UCB bonus · R-MAX · MBIE-EB · Montezuma's Revenge ## How it works - PL: Do nagrody dodaje się premię odwrotnie proporcjonalną do pierwiastka z liczby odwiedzin, tak jak w UCB dla bandytów. W dużych przestrzeniach, np. obrazach, dokładnych liczników nie da się prowadzić, więc liczbę odwiedzin szacuje się z modelu gęstości (pseudo-licznik) lub haszując podobne stany do wspólnych kubełków. - EN: A bonus inversely proportional to the square root of the visit count is added to the reward, as in UCB for bandits. In large spaces such as images exact counts are impossible, so visits are estimated from a density model (pseudo-count) or by hashing similar states into shared buckets. ## Limits - PL: Jakość zależy od tego, jak dobrze model gęstości lub haszowanie oddaje podobieństwo stanów. Premia może kierować agenta ku nieistotnej nowości, np. losowo zmieniającym się pikselom, a dodatkowy model zwiększa koszt treningu. - EN: Quality depends on how well the density model or hashing captures state similarity. The bonus can lure the agent to irrelevant novelty such as randomly changing pixels, and the extra model raises training cost. ## Key terms - PL: **pseudo-licznik**: Szacunek liczby odwiedzin uzyskany z modelu prawdopodobieństwa obserwacji. - PL: **UCB**: Wybór opcji o najwyższej optymistycznej górnej granicy wartości. - PL: **premia eksploracyjna**: Dodatek do nagrody za mało poznane stany. - EN: **pseudo-count**: Visit-count estimate derived from a probability model of observations. - EN: **UCB**: Choosing the option with the highest optimistic upper value bound. - EN: **exploration bonus**: An addition to the reward for poorly known states. ## Know first - [Wielorękie bandyty: eksploracja kontra eksploatacja (Multi-armed and contextual bandits)](https://aiatlasgraph.com/t/bandits.md) - [Uczenie z różnic czasowych (TD) i metody Monte Carlo (Temporal-difference learning and Monte Carlo methods)](https://aiatlasgraph.com/t/tdlearning.md) ## Related topics Untyped, symmetric "see also" links. - [Eksploracja z ciekawości (nagroda wewnętrzna) (Curiosity-driven exploration and intrinsic rewards)](https://aiatlasgraph.com/t/curiosity.md) ## Sources - [Exploration in Deep Reinforcement Learning: A Survey]() `exploration-drl-survey-2022` · by Pawel Ladosz; Lilian Weng; Minwoo Kim; Hyondong Oh - [Unifying Count-Based Exploration and Intrinsic Motivation]() `pseudocounts-2016` · by Marc G. Bellemare; Sriram Srinivasan; Georg Ostrovski; Tom Schaul; David Saxton; Rémi Munos --- AI Atlas revision 128 (2026-11-04) · HTML: https://aiatlasgraph.com/t/countexploration · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-11-04