# Konserwatywne offline RL (CQL, IQL)

EN: **Conservative offline RL** · id `conservativeoffline`

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Uczenie ze wzmocnieniem i decyzje](https://aiatlasgraph.com/t/decisions.md) › [Offline RL i eksploracja](https://aiatlasgraph.com/t/offline.md) › Konserwatywne offline RL (CQL, IQL)

## Description

- PL: Uczenie polityki z gotowego zbioru danych bez nowych interakcji; kara za przeszacowanie akcji, których nie ma w danych, chroni przed błędami przesunięcia rozkładu.
- EN: Learning a policy from a fixed dataset without new interaction; penalising overestimated out-of-dataset actions guards against distribution-shift errors.

## In one sentence

- PL: To uczenie wyborów z gotowych doświadczeń z ostrożnością wobec działań słabo opisanych w danych.
- EN: This learns choices from recorded experience while treating actions poorly represented in the data cautiously.

## Problem it solves

- PL: Model może uznać niewidziane działanie za świetne, choć brakuje doświadczeń potwierdzających tę ocenę.
- EN: A model may rate an unseen action highly despite lacking experience that supports that assessment.

## What it does

- PL: Ogranicza nadmiernie optymistyczne oceny nieznanych działań lub uczy się bez ich bezpośredniego oceniania, korzystając z zapisanych przebiegów.
- EN: It limits overly optimistic assessments of unfamiliar actions or learns without directly evaluating them, using recorded sequences.

## Everyday example

- PL: Z zapisanych przejazdów uczysz wybór trasy, powstrzymując model przed polecaniem nieznanych skrótów wyłącznie na podstawie wysokiej przewidywanej oceny.
- EN: Recorded journeys teach route choices while discouraging recommendations of unfamiliar shortcuts based solely on high predicted scores.

## This concerns you if you…

- PL: masz gotowe doświadczenia, ale nie możesz zbierać nowych
- PL: chcesz ograniczyć ufanie ocenom działań nieobecnych w danych
- EN: have recorded experience but cannot collect more
- EN: want less reliance on scores for actions absent from data

## Keywords

CQL · IQL · D4RL · value pessimism · extrapolation error · expectile regression

## How it works

- PL: Uczenie ogranicza optymistyczną ocenę działań słabo reprezentowanych w danych lub unika ich w celach aktualizacji. Politykę dopasowuje się do wysoko ocenionych działań, zachowując kontrolę odchylenia od zebranych doświadczeń.
- EN: Learning limits optimistic estimates for poorly represented actions or avoids them in update targets. Policies are fitted toward highly valued actions while controlling deviation from recorded experience.

## Limits

- PL: Konserwatyzm może blokować rzeczywistą poprawę poza zbiorem. Słabe pokrycie nadal ogranicza osiągalne zachowania, a siła ograniczeń wymaga strojenia i niezależnej oceny.
- EN: Conservatism can block genuine improvements beyond the dataset. Poor coverage still limits attainable behaviour, and constraint strength needs tuning and independent evaluation.

## Key terms

- PL: **pesymizm wartości**: Ostrożne obniżanie ocen, którym dane nie dostarczają wystarczającego wsparcia.
- PL: **błąd ekstrapolacji**: Błąd oceny działań lub stanów słabo obecnych w treningu.
- EN: **value pessimism**: Conservatively lowering estimates insufficiently supported by data.
- EN: **extrapolation error**: Estimation error for actions or states poorly represented in training.

## Know first

- [Q-learning i głębokie sieci Q (DQN) (Q-learning and deep Q-networks (DQN))](https://aiatlasgraph.com/t/qlearning.md)

## Examples

- PL: Conservative Q-Learning (CQL) · Implicit Q-Learning (IQL) · D4RL

## Related topics

Untyped, symmetric "see also" links.

- [Ocena polityki off-policy (OPE) (Off-policy evaluation (OPE))](https://aiatlasgraph.com/t/ope.md)
- [Q-learning i głębokie sieci Q (DQN) (Q-learning and deep Q-networks (DQN))](https://aiatlasgraph.com/t/qlearning.md)
- [„Śmiertelna triada” w RL (The deadly triad in reinforcement learning)](https://aiatlasgraph.com/t/deadlytriad.md)

## Sources

- [Berkeley CS185/285 · Deep Reinforcement Learning (2026)](<https://rail.eecs.berkeley.edu/deeprlcourse/>) `rl` · reference: Uczenie przez wzmacnianie, imitacja, sterowanie i RL dla LLM.
- [Conservative Q-Learning for Offline Reinforcement Learning](<https://arxiv.org/abs/2006.04779>) `cql-2020` · by A. Kumar, A. Zhou, G. Tucker, S. Levine

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/conservativeoffline · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30