# Dostrajanie online po treningu offline

EN: **Offline-to-online RL fine-tuning** · id `offlinetoonline` · aliases: offline-to-online RL, online fine-tuning after offline RL

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Uczenie ze wzmocnieniem i decyzje](https://aiatlasgraph.com/t/decisions.md) › [Offline RL: uczenie z zapisanych danych](https://aiatlasgraph.com/t/offline.md) › Dostrajanie online po treningu offline

## Description

- PL: Wstępny trening polityki i funkcji wartości offline na zapisanych danych, a potem dostrajanie interakcją online, często dalej z użyciem danych offline.
- EN: Pretraining a policy and value function offline on logged data, then fine-tuning them with online interaction, often still using the offline data.

## In one sentence

- PL: Najpierw program uczy się z zapisanych nagrań cudzej pracy, a potem szlifuje umiejętności, działając już samodzielnie.
- EN: First the program learns from recorded examples of others' work, then polishes its skills by acting on its own.

## Problem it solves

- PL: Nauka od zera przez próby jest wolna i ryzykowna, a nauka wyłącznie z nagrań zatrzymuje się na poziomie tych nagrań.
- EN: Learning from scratch by trial is slow and risky, while learning only from recordings stalls at their level.

## What it does

- PL: Jak kierowca po kursie teoretycznym i nagraniach jazdy, który potem doskonali się na prawdziwej drodze z instruktorem.
- EN: Like a learner driver who studies recordings first, then improves on real roads with an instructor.

## Everyday example

- PL: Robot w magazynie startuje z umiejętności wyuczonych z zapisów pracy ludzi, a podczas kontrolowanych prób dalej poprawia tempo pakowania.
- EN: A warehouse robot starts with skills learned from logs of human work and keeps improving its packing speed during controlled trials.

## This concerns you if you…

- PL: masz zapisy działań, ale chcesz, by agent poprawił się w praktyce
- PL: każda prawdziwa próba agenta jest kosztowna
- EN: you have logged actions but want the agent to improve in practice
- EN: every real trial by the agent is expensive

## Keywords

Cal-QL · RLPD · CQL · IQL · symmetric sampling · layer normalization · D4RL

## How it works

- PL: Konserwatywne metody offline zaniżają wartości akcji spoza danych, co na starcie online może powodować spadek wyników i powolne odbicie. Cal-QL kalibruje te wartości, by nie spadały poniżej wartości polityki odniesienia. RLPD zamiast tego dosypuje dane offline do bufora metody off-policy, łącząc je symetrycznie z nowymi danymi i stabilizując krytyka.
- EN: Conservative offline methods underestimate out-of-data actions, which can cause an initial performance dip and slow recovery online. Cal-QL calibrates these values so they stay above a reference policy's value. RLPD instead adds offline data to an off-policy method's buffer, mixing it symmetrically with new data and stabilising the critic.

## Limits

- PL: Faza online wymaga bezpiecznego środowiska do prób, czego w medycynie czy przemyśle często brak. Wyniki zależą od jakości i pokrycia danych offline; przesunięcie rozkładu między danymi a polityką może destabilizować trening.
- EN: The online phase needs a safe environment for trials, often unavailable in medicine or industry. Results depend on the offline data's quality and coverage; distribution shift between data and policy can destabilise training.

## Key terms

- PL: **przesunięcie rozkładu**: Różnica między sytuacjami w danych a tymi, które napotyka nowa polityka.
- PL: **kalibracja wartości**: Utrzymywanie ocen na realistycznym poziomie, ani zbyt nisko, ani zbyt wysoko.
- PL: **bufor powtórek**: Pamięć przejść, z której agent losuje dane do nauki.
- EN: **distribution shift**: Mismatch between situations in the data and those the new policy meets.
- EN: **value calibration**: Keeping estimates at a realistic level, neither too low nor too high.
- EN: **replay buffer**: A memory of transitions the agent samples for learning.

## Know first

- [Konserwatywne offline RL (CQL, IQL) (Conservative offline RL)](https://aiatlasgraph.com/t/conservativeoffline.md)
- [Bufor doświadczeń i priorytetowe odtwarzanie (Experience replay and prioritised replay)](https://aiatlasgraph.com/t/experiencereplay.md)

## Related topics

Untyped, symmetric "see also" links.

- [RL wspomagane demonstracjami (DQfD) (Reinforcement learning from demonstrations)](https://aiatlasgraph.com/t/rlfromdemos.md)

## Sources

- [Cal-QL: Calibrated Offline RL Pre-Training for Efficient Online Fine-Tuning](<https://arxiv.org/abs/2303.05479>) `calql-2023` · by Mitsuhiko Nakamoto; Yuexiang Zhai; Anikait Singh; Max Sobol Mark; Yi Ma; Chelsea Finn; Aviral Kumar; Sergey Levine
- [Efficient Online Reinforcement Learning with Offline Data](<https://arxiv.org/abs/2302.02948>) `rlpd-2023` · by Philip J. Ball; Laura Smith; Ilya Kostrikov; Sergey Levine

---

AI Atlas revision 128 (2026-11-04) · HTML: https://aiatlasgraph.com/t/offlinetoonline · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-11-04