Modele świata i planowanie

Model-based reinforcement learning · id modelbased

Przewidywanie skutków działań przed ich wykonaniem.

Predicting the effect of actions before taking them.

In one sentence

To przewidywanie, co stanie się po działaniu, żeby zaplanować wybór przed jego wykonaniem.

This predicts what will happen after an action so a choice can be planned before taking it.

Problem it solves

Sprawdzanie każdej możliwości w prawdziwym otoczeniu bywa kosztowne, wolne lub ryzykowne.

Trying every possibility in the real environment can be costly, slow or risky.

What it does

Tworzy lub wykorzystuje model otoczenia, porównuje przewidywane przebiegi i uczy wybory lub planuje działania na ich podstawie.

It builds or uses an environment model, compares predicted sequences and uses them to learn choices or plan actions.

Everyday example

Robot porównuje przewidywane skutki przesunięcia pudełka z różnych stron, zanim spróbuje wybranego ruchu.

A robot compares predicted effects of pushing a box from different sides before trying the chosen move.

This concerns you if you…

• prawdziwe próby są kosztowne lub trudne do wykonania
• chcesz porównywać skutki działań przed podjęciem decyzji
• find real trials costly or difficult to run
• want to compare consequences before choosing an action

Examples

• World models · model-based RL

Subtopics

• Architektury predykcyjne wspólnego osadzenia (JEPA) (Joint Embedding Predictive Architectures (JEPA)): Models that learn to predict abstract representations of future or missing states in embedding space, rather than reconstructing raw data (pixels, tokens).
  • Hierarchiczne JEPA (H-JEPA) (Hierarchical Joint Embedding Predictive Architectures (H-JEPA)): An extension of JEPA with planning at multiple levels of abstraction, using separate representations for different timescales.
  • JEPA-Anything – uniwersalne predykcyjne modele świata (JEPA-Anything: domain-agnostic predictive world models): An extension of JEPA with orthogonal predictive factorization (OPF), enabling a shared learning principle for world models across many different domains.
• Generatywne modele świata dla agentów i robotów (Generative world models for agents and robotics): Models that generate or predict how an environment evolves, sometimes conditioned on user or agent actions. They can create interactive environments or provide simulation foundations for training and testing autonomous systems.
• Planowanie z przeszukiwaniem drzewa (AlphaZero, MuZero) (Tree-search planning with learned models): Combining Monte Carlo tree search with networks that predict value and policy, and in MuZero also a learned model of the rules. Key to the successes in board games.
• Uczenie w wyobraźni modelu świata (Dreamer) (Learning in imagination with latent world models): The agent learns a compact model of the environment and trains its policy on imagined rollouts instead of costly real trials.

Sources

• Berkeley CS185/285 · Deep Reinforcement Learning (2026) · reference: Uczenie przez wzmacnianie, imitacja, sterowanie i RL dla LLM.
• Stanford CS221 · AI: Principles and Techniques (2025) · reference: Rozumowanie, przeszukiwanie, logika i modele probabilistyczne.