Q-learning i głębokie sieci Q (DQN)

Q-learning and deep Q-networks (DQN) · id qlearning

Uczenie wartości akcji z równania Bellmana w trybie off-policy; w DQN sieć neuronowa zastępuje tabelę Q. Metody tej rodziny wykorzystują ponownie dane z wcześniejszych interakcji, lecz trening z aproksymacją funkcji wymaga mechanizmów stabilizujących.

Off-policy learning of action values from the Bellman equation; in DQN a neural network replaces the Q-table. Methods in this family reuse data from past interactions, but training with function approximation needs stabilising mechanisms.

In one sentence

To uczenie programu oceny możliwych ruchów, żeby wybierał te obiecujące lepszy dalszy wynik.

This teaches software to score possible moves so it can choose those promising better future outcomes.

Problem it solves

Program nie wie, które działanie jest korzystne, zwłaszcza gdy jego ważne skutki pojawiają się dopiero później.

Software does not know which action is beneficial, especially when important consequences appear later.

What it does

Poprawia oceny działań według uzyskanej nagrody i przewidywanej wartości następnych ruchów; może zapisywać oceny w tabeli lub wyuczonym modelu.

It updates action scores using received rewards and predicted future move values, storing scores in a table or learned model.

Everyday example

Postać w grze uczy się, które przejście prowadzi do celu, korzystając także z zapisanych wyników wcześniejszych prób.

A game character learns which passage leads towards the goal, also using recorded outcomes from earlier trials.

This concerns you if you…

• chcesz wybierać ruchy przez porównanie ich ocen
• masz doświadczenia, które można wykorzystać ponownie do nauki
• want to choose moves by comparing their scores
• have experiences that can be reused for learning

Examples

• Tabelaryczny Q-learning · DQN · bufor doświadczeń (replay) · sieć docelowa · Double DQN
• Tabular Q-learning · DQN · experience replay · target network · Double DQN

Related topics

• Konserwatywne offline RL (CQL, IQL) (Conservative offline RL)
• Uczenie z różnic czasowych (TD) i metody Monte Carlo (Temporal-difference learning and Monte Carlo methods)
• Uczące się systemy klasyfikatorów (ewolucja reguł „jeśli–to”) (Learning classifier systems (LCS))

Sources

• Berkeley CS185/285 · Deep Reinforcement Learning (2026) · reference: Uczenie przez wzmacnianie, imitacja, sterowanie i RL dla LLM.
• OpenAI Spinning Up — Part 2: Kinds of RL Algorithms · Joshua Achiam / OpenAI
• Hugging Face Deep Reinforcement Learning Course — unit list · Hugging Face
• Playing Atari with Deep Reinforcement Learning · V. Mnih, K. Kavukcuoglu, D. Silver, A. Graves, I. Antonoglou, D. Wierstra, M. Riedmiller