# Percepcja robota do działania EN: **Robot perception for action** · id `robotperception` · aliases: robot perception, embodied perception, perception for manipulation, percepcja robotów, percepcja do manipulacji Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Robotyka i embodied AI](https://aiatlasgraph.com/t/robotics.md) › Percepcja robota do działania ## Description - PL: Percepcja zorientowana na działanie: estymacja pozy 6D, afordancji i stanu kontaktu z obrazu, głębi, chmur punktów i czujników dotykowych. - EN: Action-oriented perception: estimating 6D pose, affordances and contact state from images, depth, point clouds and tactile sensors. ## In one sentence - PL: Robot musi nie tylko zobaczyć przedmiot, ale też wiedzieć, gdzie dokładnie leży, jak go chwycić i jak mocno go dotyka. - EN: A robot must not only see an object but know exactly where it is, how to hold it and how hard it is touching it. ## Problem it solves - PL: Rozpoznanie „to jest kubek” nie wystarcza ręce robota, która musi trafić w ucho kubka z dokładnością do milimetrów. - EN: Knowing “this is a mug” is not enough for a robot hand that must hit the mug's handle within millimetres. ## What it does - PL: Zamienia obraz z kamer i sygnały z czujników nacisku na liczby, z których planer ruchu może od razu skorzystać. - EN: It turns camera images and pressure-sensor signals into numbers a motion planner can use straight away. ## Everyday example - PL: Ramię w magazynie wyjmuje z pojemnika pomieszane paczki, za każdym razem ustawiając chwytak pod innym kątem. - EN: A warehouse arm pulls jumbled parcels out of a bin, angling its gripper differently for each one. ## This concerns you if you… - PL: budujesz robota, który ma podnosić różne przedmioty - PL: zastanawiasz się, czemu roboty wciąż upuszczają rzeczy - PL: łączysz widzenie komputerowe z ruchem maszyny - EN: are building a robot that must pick up varied objects - EN: wonder why robots still drop things - EN: connect computer vision with machine movement ## Keywords 6D object pose estimation · FoundationPose · BOP benchmark · affordance learning · visuotactile sensing · GelSight · DIGIT · RGB-D · point cloud segmentation · hand-eye calibration ## How it works - PL: Wejściem są obrazy RGB-D, chmury punktów i odczyty dotykowe. Modele szacują pozę obiektu w układzie robota, miejsca nadające się do chwytu lub użycia oraz siły i poślizg w kontakcie. Wyniki trafiają do planera chwytu i ruchu albo bezpośrednio do uczonej polityki jako jej obserwacje. - EN: Inputs are RGB-D images, point clouds and tactile readings. Models estimate object pose in the robot frame, regions suitable for grasping or use, and contact forces and slip. Outputs feed grasp and motion planners or serve directly as observations for a learned policy. ## Limits - PL: Odblaski, przezroczyste i błyszczące przedmioty oraz zasłonięcie przez samą rękę psują odczyty. Błąd kalibracji kamery względem ramienia przenosi się wprost na chybiony chwyt. Czujniki dotyku wciąż są drogie i mało trwałe. - EN: Reflections, transparent or shiny objects and occlusion by the hand itself corrupt readings. Camera-to-arm calibration error turns directly into missed grasps. Tactile sensors remain costly and not very durable. ## Key terms - PL: **poza 6D**: Położenie (3 liczby) i obrót (3 liczby) przedmiotu w przestrzeni. - PL: **afordancja**: Co da się z przedmiotem zrobić i którą jego częścią. - PL: **kalibracja ręka–oko**: Wyznaczenie, gdzie kamera jest względem chwytaka robota. - EN: **6D pose**: An object's position (3 numbers) and rotation (3 numbers) in space. - EN: **affordance**: What can be done with an object, and with which part. - EN: **hand-eye calibration**: Finding where the camera sits relative to the robot gripper. ## Know first - [Detekcja obiektów (Object detection)](https://aiatlasgraph.com/t/objectdetection.md) - [Chmury punktów i dane z LiDAR-u (Point clouds and LiDAR data)](https://aiatlasgraph.com/t/pointclouds.md) ## Subtopics (3 direct, 3 in total) - [Rozpoznawanie, do czego służy przedmiot (afordancje) (Affordance learning for robot manipulation)](https://aiatlasgraph.com/t/affordances.md): Predicting possible actions on an object and the part that enables them (object–action–effect relation), from static data or interaction. - [Ustalanie położenia i obrotu przedmiotu (poza 6D) (6D object pose estimation and tracking)](https://aiatlasgraph.com/t/objectpose6d.md): Estimating and tracking an object's position and orientation (6 degrees of freedom) from RGB or RGB-D images, including objects unseen in training. - [Zmysł dotyku robota (czujniki dotykowe) (Tactile and visuotactile sensing for robots)](https://aiatlasgraph.com/t/tactilesensing.md): Measuring contact with tactile sensors (resistive, capacitive, visuotactile) and processing their signals into force, slip and shape. ## Sources - [FoundationPose: Unified 6D Pose Estimation and Tracking of Novel Objects]() `foundationpose-2023` · by B. Wen, W. Yang, J. Kautz, S. Birchfield (NVIDIA) - [When Vision Meets Touch: A Contemporary Review for Visuotactile Sensors from the Signal Processing Perspective]() `visuotactile-review-2024` · by S. Li, Z. Wang, C. Wu, X. Li, S. Luo, B. Fang, F. Sun, X.-P. Zhang, W. Ding - [A Survey of Embodied Learning for Object-Centric Robotic Manipulation]() `embodied-objectcentric-survey-2024` · by Y. Zheng, L. Yao, Y. Su, Y. Zhang, Y. Wang, S. Zhao, Y. Zhang, L.-P. Chau --- AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/robotperception · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30