# Cyfrowy bliźniak sceny do trenowania robota (real-to-sim)

EN: **Real-to-sim-to-real with scene digital twins** · id `realtosim` · aliases: real-to-sim, real-to-sim-to-real, scene digital twin, cyfrowy bliźniak sceny, rekonstrukcja sceny do symulacji

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Robotyka i embodied AI](https://aiatlasgraph.com/t/robotics.md) › [Dane i symulacja dla robotów](https://aiatlasgraph.com/t/robotdata.md) › [Przenoszenie z symulacji do rzeczywistości (sim-to-real)](https://aiatlasgraph.com/t/simtoreal.md) › Cyfrowy bliźniak sceny do trenowania robota (real-to-sim)

## Description

- PL: Budowa symulacji z rzeczywistej sceny (rekonstrukcja geometrii, wyglądu i obiektów) i dostrajanie w niej polityki, np. RL, przed powrotem na sprzęt.
- EN: Building a simulation from a real scene (reconstructing geometry, appearance and objects) and refining a policy there, e.g. with RL, before returning to hardware.

## In one sentence

- PL: Prawdziwą kuchnię albo stanowisko skanuje się telefonem do symulatora, a robot ćwiczy w tej kopii, zanim spróbuje w rzeczywistości.
- EN: A real kitchen or workstation is scanned with a phone into a simulator, and the robot practises in that copy before trying for real.

## Problem it solves

- PL: Wymyślone sceny w symulatorze nie przypominają konkretnego miejsca, a ćwiczenie na prawdziwym sprzęcie jest wolne i grozi stłuczkami.
- EN: Made-up simulator scenes do not resemble the actual place, while practising on real hardware is slow and risks breakage.

## What it does

- PL: Jak trening pilota na symulatorze konkretnego lotniska: wirtualna kopia ma te same meble i przedmioty, więc doświadczenie dobrze się przenosi.
- EN: Like pilot training on a simulator of a specific airport: the virtual copy has the same furniture and objects, so experience transfers well.

## Everyday example

- PL: Zeskanowana szafka z książkami staje się wirtualnym poligonem, na którym robot uczy się odstawiać tomy mimo przesuniętych grzbietów.
- EN: A scanned bookcase becomes a virtual training ground where the robot learns to shelve books despite shifted spines.

## This concerns you if you…

- PL: robot ma działać w jednym konkretnym miejscu
- PL: masz kilka demonstracji i chcesz uodpornić politykę
- PL: łączysz skanowanie 3D z trenowaniem robotów
- EN: need a robot to work in one specific place
- EN: have a few demonstrations and want a more robust policy
- EN: combine 3D scanning with robot training

## Keywords

RialTo · inverse distillation · scene reconstruction · articulated objects · digital twin · system identification

## How it works

- PL: Scenę skanuje się kamerą lub telefonem, a następnie odtwarza jej geometrię, wygląd i ruchome elementy jako cyfrowy bliźniak. Demonstracje z rzeczywistości przenosi się do symulacji, politykę dostraja uczeniem ze wzmocnieniem z losowaniem pozycji i zakłóceń, a wynik przenosi z powrotem na robota.
- EN: The scene is scanned with a camera or phone, then its geometry, appearance and articulated elements are reconstructed as a digital twin. Real demonstrations are transferred into simulation, the policy is fine-tuned with reinforcement learning under position and disturbance randomisation, and the result is transferred back to the robot.

## Limits

- PL: Rekonstrukcja fizyki, czyli masy, tarcia i przegubów, jest dużo trudniejsza niż wyglądu. Bliźniak odpowiada jednej scenie i trzeba go odtwarzać po zmianach. Przedmioty miękkie i przezroczyste są trudne do zeskanowania.
- EN: Reconstructing physics – mass, friction, joints – is much harder than appearance. The twin matches one scene and must be rebuilt after changes. Soft and transparent objects are hard to scan.

## Key terms

- PL: **cyfrowy bliźniak**: Wirtualna kopia konkretnego miejsca lub urządzenia.
- PL: **destylacja polityki**: Przeniesienie umiejętności z jednego modelu do innego, łatwiejszego w użyciu.
- PL: **przegub**: Ruchoma część obiektu, np. zawias drzwiczek lub szuflada.
- EN: **digital twin**: A virtual copy of a specific place or device.
- EN: **policy distillation**: Transferring a skill from one model into another, easier to deploy.
- EN: **articulation**: A moving part of an object, e.g. a door hinge or drawer.

## Know first

- [Środowiska i symulatory do RL (RL environments and simulators)](https://aiatlasgraph.com/t/rlenvs.md)
- [Algorytmy RL (Reinforcement learning algorithms)](https://aiatlasgraph.com/t/rlalgorithms.md)

## Sources

- [Reconciling Reality through Simulation: A Real-to-Sim-to-Real Approach for Robust Manipulation](<https://arxiv.org/abs/2403.03949>) `rialto-2024` · by M. Torne, A. Simeonov, Z. Li, A. Chan, T. Chen, A. Gupta, P. Agrawal

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/realtosim · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30