# Douczanie robota próbami w realnym świecie z pomocą człowieka EN: **Real-world reinforcement learning with human interventions** · id `realworldrl` · aliases: real-world RL, human-in-the-loop RL, robot reinforcement learning on hardware, RL na prawdziwym robocie, uczenie z interwencjami człowieka Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Robotyka i embodied AI](https://aiatlasgraph.com/t/robotics.md) › [Manipulacja przedmiotami](https://aiatlasgraph.com/t/manipulation.md) › Douczanie robota próbami w realnym świecie z pomocą człowieka ## Description - PL: Uczenie ze wzmocnieniem bezpośrednio na fizycznym robocie, z inicjalizacją z demonstracji, korektami operatora w trakcie prób i nagrodą z klasyfikatora sukcesu. - EN: Reinforcement learning directly on a physical robot, initialised from demonstrations, with operator corrections during trials and reward from a success classifier. ## In one sentence - PL: Robot ćwiczy zadanie na prawdziwym stanowisku, a człowiek od czasu do czasu go poprawia, aż robot zacznie robić to szybko i bezbłędnie. - EN: A robot practises a task at a real workstation while a person corrects it now and then, until it does it quickly and flawlessly. ## Problem it solves - PL: Robot nauczony samymi pokazami wykonuje zadanie poprawnie tylko część razy, a fabryce potrzebna jest niezawodność bliska stu procent. - EN: A robot taught only by demonstrations gets the task right only part of the time, while a factory needs near-total reliability. ## What it does - PL: Jak uczeń przy instruktorze jazdy: próbuje sam, instruktor przejmuje kierownicę przed błędem, a robot uczy się i z sukcesów, i z poprawek. - EN: Like a learner with a driving instructor: it tries alone, the instructor grabs the wheel before a mistake, and the robot learns from both successes and corrections. ## Everyday example - PL: W ciągu popołudnia ramię uczy się wkładać elementy do płyty tak sprawnie, że przestaje mylić się nawet przy przesuniętej płycie. - EN: Within an afternoon an arm learns to insert components into a board so well that it stops failing even when the board is shifted. ## This concerns you if you… - PL: robot działa, ale za często się myli - PL: chcesz wypróbować uczenie ze wzmocnieniem na prawdziwym sprzęcie - PL: możesz poświęcić kilka godzin na nadzorowanie robota - EN: have a robot that works but fails too often - EN: want to try reinforcement learning on real hardware - EN: can spend a few hours supervising a robot ## Keywords HIL-SERL · SERL · human interventions · reward classifier · sample-efficient RL · HG-DAgger · LeRobot ## How it works - PL: Kilkanaście do kilkudziesięciu demonstracji trafia do bufora, z którego off-policy RL próbkuje na równi z własnymi doświadczeniami robota. Operator może przejąć sterowanie w trakcie próby, a jego korekty zasilają oba bufory. Nagrodę daje klasyfikator obrazu wytrenowany na przykładach udanych i nieudanych prób, więc nie trzeba jej ręcznie projektować. - EN: A few dozen demonstrations seed a buffer that off-policy RL samples equally with the robot's own experience. The operator can take over during a trial, and corrections feed both buffers. Reward comes from an image classifier trained on successful and failed examples, so it need not be hand-designed. ## Limits - PL: Wymaga stanowiska, które robot może sam lub z pomocą człowieka przywracać do stanu startowego, i ciągłego nadzoru. Polityka jest dopasowana do jednego zadania i stanowiska. Eksploracja na sprzęcie grozi uszkodzeniami, więc trzeba ograniczać przestrzeń ruchów. - EN: It needs a workstation the robot can reset alone or with help, and continuous supervision. The policy fits one task and workstation. Exploring on hardware risks damage, so the motion space must be constrained. ## Key terms - PL: **off-policy RL**: Uczenie, które korzysta także ze starszych i cudzych doświadczeń. - PL: **interwencja operatora**: Chwilowe przejęcie sterowania przez człowieka, by uniknąć błędu. - PL: **klasyfikator nagrody**: Model rozpoznający z obrazu, czy zadanie się udało. - EN: **off-policy RL**: Learning that also uses older and others' experience. - EN: **operator intervention**: A person briefly taking control to avoid an error. - EN: **reward classifier**: A model telling from an image whether the task succeeded. ## Know first - [Klonowanie zachowań (behavioral cloning) (Behavioural cloning)](https://aiatlasgraph.com/t/behaviorcloning.md) - [Algorytmy RL (Reinforcement learning algorithms)](https://aiatlasgraph.com/t/rlalgorithms.md) ## Related topics Untyped, symmetric "see also" links. - [Imitacja z korektą eksperta (DAgger) (Interactive imitation learning (DAgger))](https://aiatlasgraph.com/t/dagger.md) ## Sources - [Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning]() `hil-serl-2024` · by J. Luo, C. Xu, J. Wu, S. Levine (UC Berkeley) --- AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/realworldrl · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30