Cyfrowy bliźniak sceny do trenowania robota (real-to-sim)

Real-to-sim-to-real with scene digital twins · id realtosim · aliases: real-to-sim, real-to-sim-to-real, scene digital twin, cyfrowy bliźniak sceny, rekonstrukcja sceny do symulacji

Budowa symulacji z rzeczywistej sceny (rekonstrukcja geometrii, wyglądu i obiektów) i dostrajanie w niej polityki, np. RL, przed powrotem na sprzęt.

Building a simulation from a real scene (reconstructing geometry, appearance and objects) and refining a policy there, e.g. with RL, before returning to hardware.

In one sentence

Prawdziwą kuchnię albo stanowisko skanuje się telefonem do symulatora, a robot ćwiczy w tej kopii, zanim spróbuje w rzeczywistości.

A real kitchen or workstation is scanned with a phone into a simulator, and the robot practises in that copy before trying for real.

Problem it solves

Wymyślone sceny w symulatorze nie przypominają konkretnego miejsca, a ćwiczenie na prawdziwym sprzęcie jest wolne i grozi stłuczkami.

Made-up simulator scenes do not resemble the actual place, while practising on real hardware is slow and risks breakage.

What it does

Jak trening pilota na symulatorze konkretnego lotniska: wirtualna kopia ma te same meble i przedmioty, więc doświadczenie dobrze się przenosi.

Like pilot training on a simulator of a specific airport: the virtual copy has the same furniture and objects, so experience transfers well.

Everyday example

Zeskanowana szafka z książkami staje się wirtualnym poligonem, na którym robot uczy się odstawiać tomy mimo przesuniętych grzbietów.

A scanned bookcase becomes a virtual training ground where the robot learns to shelve books despite shifted spines.

This concerns you if you…

Sources