Rozszerzenie JEPA o ortogonalną faktoryzację predykcyjną (OPF), pozwalającą na wspólną zasadę uczenia modeli świata w wielu różnych domenach.
An extension of JEPA with orthogonal predictive factorization (OPF), enabling a shared learning principle for world models across many different domains.
To metoda, która pozwala jednemu rodzajowi modelu przewidywać, co się stanie w bardzo różnych światach – od obrazów i ruchu, po komórki i pogodę.
A method that lets one kind of model predict what will happen in very different worlds – from images and motion to cells and weather.
Większość modeli świata działa dobrze tylko w jednej dziedzinie; przenoszenie ich na inne wymaga dużo nowej pracy.
Most world models work well in only one domain; moving them to others requires a lot of new work.
Rozbija przyszły stan na kilka niezależnych czynników, uczy każdy osobno i składa je z powrotem, dzięki czemu ta sama zasada działa w wielu dziedzinach.
It breaks a future state into several independent factors, learns each separately and recombines them, so the same principle works across many domains.
Model trenowany na wideo i na trajektoriach cząsteczek uczy się przewidywać skutki interwencji w obu przypadkach tą samą metodą.
A model trained on video and on particle trajectories learns to predict the effects of interventions in both cases with the same method.