Przenoszenie z symulacji do rzeczywistości (sim-to-real)

Sim-to-real transfer · id simtoreal

Trenowanie w symulatorze i przenoszenie na prawdziwego robota mimo różnic („luka rzeczywistości”); m.in. przez losowe zmienianie wyglądu i fizyki symulacji.

Training in simulation and transferring to a real robot despite the differences (the “reality gap”), e.g. by randomising the simulation's appearance and physics.

In one sentence

To przenoszenie zachowania wyuczonego w symulatorze na prawdziwe urządzenie mimo różnic między nimi.

This transfers behaviour learned in simulation to a real device despite differences between them.

Problem it solves

Robot sprawny w symulatorze może zawieść, gdy rzeczywiste tarcie, oświetlenie lub odczyty czujników są inne.

A robot that works in simulation may fail when actual friction, lighting or sensor readings differ.

What it does

Zmienia warunki symulacji, dopasowuje opis sprzętu i sprawdza przeniesione zachowanie, żeby ograniczać skutki rozbieżności.

It varies simulation conditions, adjusts the hardware model and tests transferred behaviour to reduce the effects of differences.

Everyday example

Chwytanie ćwiczone na wirtualnych przedmiotach sprawdzasz na prawdziwych kubkach, uwzględniając inne tarcie i niedokładności kamery.

You test gripping learned on virtual objects using real cups, accounting for different friction and camera inaccuracies.

This concerns you if you…

• masz zachowanie wyuczone w symulacji
• chcesz sprawdzić i dostosować je do rzeczywistego sprzętu
• have behaviour learned in simulation
• want to test and adapt it to physical hardware

Examples

• Randomizacja domeny · identyfikacja systemu · luka rzeczywistości · Isaac Sim
• Domain randomisation · system identification · reality gap · Isaac Sim

Subtopics

• Cyfrowy bliźniak sceny do trenowania robota (real-to-sim) (Real-to-sim-to-real with scene digital twins): Building a simulation from a real scene (reconstructing geometry, appearance and objects) and refining a policy there, e.g. with RL, before returning to hardware.

Related topics

• Bezpieczne RL i RL z ograniczeniami (Safe and constrained reinforcement learning)
• Dane syntetyczne i augmentacja (Synthetic data and augmentation)
• Generatywne modele świata dla agentów i robotów (Generative world models for agents and robotics)
• Lokomocja robotów uczona w symulacji (Simulation-trained legged locomotion)
• Sterowanie plazmą w tokamaku przez uczenie ze wzmocnieniem (Reinforcement learning for tokamak plasma control)
• Symulacja i benchmarki planowania jazdy (Driving simulation and planning benchmarks)
• Uogólnianie i adaptacja w RL (Generalisation and adaptation in reinforcement learning)
• Zręczna manipulacja dłonią robota (Dexterous in-hand manipulation)
• Środowiska i symulatory do RL (RL environments and simulators)

Sources

• Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World · J. Tobin, R. Fong, A. Ray, J. Schneider, W. Zaremba, P. Abbeel
• Learning to Walk in Minutes Using Massively Parallel Deep Reinforcement Learning · N. Rudin, D. Hoeller, P. Reist, M. Hutter