世界模型 World Model

让智能体在“脑内”预演世界 —— 从感知到预测,从预测到规划。
一个可交互的理论可视化演示。

潜空间动力学 想象 Rollout Dreamer MuZero JEPA 视频生成即世界模拟器
1

什么是世界模型

定义 · 直觉 · 发展脉络

标准介绍

世界模型(World Model)是智能体对其所处环境的一种内部可计算表征。它学习从“当前状态 + 动作”预测“下一状态(或下一观测)”,从而让智能体能够在不与真实环境交互的情况下,在内部“推演”未来。

形式化地,世界模型近似环境的状态转移分布 \( p(s_{t+1}\mid s_t, a_t) \) 与观测分布 \( p(o_t \mid s_t) \),并且通常在一个低维潜在空间 \( z \) 中运作,而不是直接预测高维像素。

一个完整的世界模型一般包含四个部件:编码器(感知 V)、动力学模型(预测 M)、解码器(重构)与奖励 / 价值预测器。它是基于模型的强化学习(MBRL)、规划算法,以及当下“视频生成即世界模拟器”路线的共同理论核心。

通俗介绍

想象你在下棋:你会先在脑子里“走”几步,看看对方可能怎么应,再决定落子。老司机看到前车刹车灯亮起,就知道要减速——因为你脑中有一个“车会停下、我会撞上”的预演。

你的大脑里有一个世界的“模拟器”。它不需要你真的撞一次车,就能提前知道后果。世界模型就是想给 AI 装上这样一个模拟器:

① 看见画面 → 压缩成一个简洁的“状态”(编码)
② 在心里想:“如果我这样做,下一步会变成什么样”(预测)
③ 把想象画出来(解码)
④ 在想象里反复练习,找到最好的做法(规划 / 想象训练)

于是 AI 不必在真实世界里试错一千万次——它可以在“梦”里练习。

理论发展历史

1990

Schmidhuber《Making the World Differentiable》:提出让智能体学习可微的世界模型,用 RNN 预测未来观测,被视为“世界模型”的思想源头。

2015

Dyna 架构与基于模型的 RL:把真实交互样本与“想象样本”混合起来训练策略,形成 model-based RL 的基本范式。

2018

Ha & Schmidhuber《World Models》(NeurIPS):VAE(视觉)+ MDN-RNN(记忆)+ Controller(控制)三段式架构,首次在赛车游戏中证明“智能体可以在梦里训练,再回到现实中比赛”。

2019

PlaNet / Dreamer:在潜在空间中做规划;Dreamer 更进一步,直接在“想象出来的轨迹”上反传梯度来学习策略。

2020

MuZero(Nature):学习“隐式模型”(表征、动力学、预测三合一),配合 MCTS 在围棋、国际象棋与 Atari 上达到超人类水平。

2022

DayDreamer 与扩散模型:世界模型开始用于真实机器人学习,扩散模型让高保真预测成为可能。

2023

DreamerV3:一套超参数通吃 150+ 任务;I-JEPA:LeCun 提出非生成式的联合嵌入预测架构,主张在表征空间预测而非重建像素。

2024

Sora / Genie:视频生成模型被称作“世界模拟器”;Genie 实现了可交互的生成式环境。

2025+

V-JEPA 2 / Genie 3 / Dreamer 4:面向机器人与通用智能体的世界模型走向实用,强调可控性与因果一致性。

2

核心公式与参数

世界模型的数学骨架
定义状态空间模型分解
$$ p(o_{1:T},\,a_{1:T}) \;=\; \int p(s_1)\prod_{t=1}^{T} p(s_{t+1}\mid s_t,\,a_t)\,p(o_t\mid s_t)\; ds_{1:T} $$
这是世界模型最一般的概率表述:真实世界有一个隐藏状态 \(s\),智能体只能看到观测 \(o\) 并施加动作 \(a\)。学习世界模型,本质上就是在拟合这个联合分布中的转移项 \(p(s_{t+1}\mid s_t,a_t)\) 与观测项 \(p(o_t\mid s_t)\)。
架构世界模型三件套(Ha & Schmidhuber, 2018)
$$ \begin{aligned} z_t &\sim q_\phi(z_t \mid o_t) &&\text{编码器 V(视觉)}\\ \hat z_{t+1} &\sim p_\phi(z_{t+1}\mid z_t,\,a_t) &&\text{动力学 M(记忆)}\\ \hat o_t &\sim p_\theta(o_t \mid z_t) &&\text{解码器} \end{aligned} $$
经典的三段式结构:编码器把高维观测压缩成低维潜变量 \(z\),动力学模型在潜空间中预测未来,解码器负责把潜变量还原成画面。控制策略只在低维的 \(z\) 上运行,因而极其轻量。
训练变分下界 ELBO
$$ \log p_\theta(o_{1:T}\mid a_{1:T}) \;\ge\; \sum_{t=1}^{T}\Big[\mathbb{E}_{q_\phi(z_t\mid h_t,o_t)}\log p_\theta(o_t\mid z_t) \;-\; \mathrm{KL}\big(q_\phi(z_t\mid h_t,o_t)\,\|\,p_\phi(z_t\mid h_t)\big)\Big] $$
第一项是重构似然(解码要准),第二项是KL 散度(后验要和先验一致,即“预测要准”)。\(h_t=f_\phi(h_{t-1},z_{t-1},a_{t-1})\) 是循环隐状态。世界模型的自监督训练几乎都可以写成这一形式。
稳定Dreamer 的 KL 平衡与 Free Bits
$$ \mathcal{L}_{\text{dyn}} \;=\; \max\Big(1,\;\; \mathrm{KL}\big[\mathrm{sg}(q_\phi(z_t\mid h_t,o_t)) \,\|\, p_\phi(z_t\mid h_t)\big]\Big) $$
\(\mathrm{sg}(\cdot)\) 表示停止梯度。DreamerV3 只用这一项“动力学损失”配 1 nat 的 free bits 上限,就能稳定训练——既阻止先验坍塌(KL 变为 0),又阻止后验过度自信。
规划想象回报目标
$$ J(\theta) \;=\; \mathbb{E}\left[\sum_{t=0}^{H}\gamma^{t}\,\hat r_\psi(\hat z_t,\,a_t)\right],\quad a_t=\pi_\theta(\hat z_t),\quad \hat z_{t+1}=f_\phi(\hat z_t,a_t) $$
有了世界模型 \(f_\phi\) 与奖励模型 \(\hat r_\psi\),策略 \(\pi_\theta\) 就可以完全在“想象”中优化:从真实数据里的某个状态出发,向前 rollout \(H\) 步,用这 \(H\) 步的总回报对策略求梯度。这正是 Dreamer 的核心思想。
关键多步预测的误差累积
$$ \mathbb{E}\big\|\hat s_t - s_t\big\| \;\approx\; \sigma\sqrt{t} \quad\text{(随机噪声)}\qquad\qquad \big\|\hat s_t - s_t\big\| \;\propto\; \varepsilon\,t \quad\text{(系统偏差)} $$
这是世界模型最本质的困难:随机噪声造成的误差按 \( \sqrt{t} \) 增长(相对温和),而系统性偏差按 \( t \) 线性增长(灾难性)。视野 \(H\) 越长,模型越容易被自己的错误带偏,甚至“钻空子”产生虚假的高回报(model exploitation)。
前沿JEPA 联合嵌入预测
$$ \mathcal{L}_{\text{JEPA}} \;=\; \Big\|\,P_\phi\big(s_x\big)\;-\;\mathrm{sg}\big(E_{\bar\theta}(s_y)\big)\Big\|_2^2 $$
LeCun 提出的非生成式路线:不重建像素,而是在表征空间预测目标块的嵌入。\(E\) 是编码器,\(P\) 是预测器,\(\mathrm{sg}\) 表示目标编码器用指数滑动平均更新。它避免了“预测像素细节”带来的浪费,被认为更适合做长程世界模型。
符号 含义 说明 / 典型取值
\(s_t\)环境真实状态真实世界中的完整状态,智能体通常无法直接观测到
\(o_t\)观测图像、传感器读数等,是高维且冗余的
\(z_t\)潜变量 / 潜状态低维压缩表征,一般 32~1024 维;所有预测都在它上面进行
\(a_t\)动作离散或连续控制量
\(h_t\)循环隐状态RNN 记忆,融合历史信息
\(H\)想象视野rollout 步数,常用 15~50;越长规划越远,但误差越大
\(\sigma\)单步预测噪声模型单步误差的标准差,是误差累积的根源
\(\varepsilon\)系统偏差模型对动力学的错误估计,会导致线性误差增长
\(\gamma\)折扣因子0.95~0.997,越大越看重长期回报
\(\phi,\theta,\psi\)网络参数分别对应模型网络、解码网络、奖励预测网络
\(\beta\)KL 权重DreamerV3 中配合 free bits 使用,控制先验-后验平衡
3

交互模拟:在想象中推演未来

调节左侧参数,观察右侧预测结果

下面的模拟器演示了 Dreamer 式的想象 rollout:智能体从起点出发,目标是到达右上方的绿色目标点。蓝线是真实轨迹,红色虚线是世界模型的预测轨迹,红色椭圆表示预测的不确定度(随步数增大)。调节参数,直观感受世界模型的两大敌人:随机噪声与系统偏差。

参数控制台
模型向前预测多少步。视野越长规划越有远见,但误差也越大。
模型每一步预测的随机误差。累积后约按 σ√t 增长。
模型对动力学参数的估计误差(正值=高估弹性)。它会让误差线性累积,比噪声更致命。
决定回报中远期奖励的权重,影响想象训练的“远见”。
状态空间中的真实轨迹 vs. 想象轨迹 实时计算
终点预测误差
--
理论不确定度 2σ√H
--
想象回报 Ĵ
--
真实回报 J
--
预测误差随视野增长(蒙特卡洛平均)
当前公式: \(\hat z_{t+1} = f_\phi(\hat z_t, a_t) + \delta_t,\;\; \delta_t \sim \mathcal{N}(0,\sigma^2)\)  |  \(\hat r_t = -\| \hat z_t - z_{g} \|\)  |  \(\hat J = \sum_{t=0}^{H}\gamma^{t}\,\hat r_t\)

怎么读懂这张图?

把 σ 拉到 0:红色虚线与蓝色实线完全重合,说明一个完美的世界模型可以精确预演未来——这就是“在梦里训练”的理想前提。

把 σ 拉大:预测轨迹开始抖动,红色椭圆(不确定度)随着步数迅速扩大。注意 误差是按 √t 增长的,而不是 t——这是随机误差的好消息。

把 ε 调成明显的正/负值:预测轨迹会系统性地偏离真实轨迹,且偏差随着 H 线性放大。这就是“模型偏差”为什么比“模型噪声”更危险:它不会被平均掉。

把 H 拉长:想象回报 Ĵ 与真实回报 J 的差距会变大——这说明长视野规划必须配合模型不确定性惩罚(例如 Dreamer 中的折扣 / 集成模型)才能稳定。

4

重要知识点

点击展开
🧠 为什么要在潜空间预测,而不是直接预测像素?

像素世界里充满了与决策无关的细节:一片叶子的纹理、光线的微小变化。直接预测下一帧像素,会把大量模型容量浪费在这些细节上,而且多步预测很容易糊成一团。

潜空间 \(z\) 是一种有损但够用的压缩:它保留了对动力学和回报重要的信息,丢掉了噪声。在 \(z\) 上做预测,既快又稳,还能让策略网络变得非常小(Ha & Schmidhuber 的控制器只有几百个参数)。

JEPA 更进一步:连解码器都不要了,直接在表征空间做预测——因为“能预测未来”比“能画出未来”更接近智能的本质。

🎯 想象训练(Imagination)到底怎么工作?

流程大致是:① 从真实经验里取出一个状态 \(z_0\);② 用当前策略 \(\pi_\theta\) 在这个状态上做 \(H\) 步 rollout,每一步都由世界模型 \(f_\phi\) 生成下一个潜状态;③ 用奖励模型给出每一步的奖励;④ 用 \(\sum \gamma^t \hat r_t\) 对策略参数求梯度。

关键点是:梯度只回传到策略网络,不回传到世界模型(世界模型是冻结的)。这样世界模型就变成了一个“可微的模拟器”,策略可以在里面无限次试错,而不消耗任何真实交互。

⚠️ 误差累积与“模型利用”(Model Exploitation)

世界模型永远不完美。当策略在想象中优化时,它会主动去寻找模型预测出高回报的动作——而这些动作恰恰可能是模型错误的地方。这就是模型利用:策略学会了“骗模型”,而不是真正解决问题。

常见的缓解手段:集成模型(多个模型预测不一致时惩罚不确定性)、短视野 + 高折扣、在想象中加入真实数据混合训练、以及 DreamerV3 中的 KL 平衡与 free bits。

🔀 显式模型 vs. 隐式模型(MuZero 路线)

显式模型(如 Ha & Schmidhuber、Dreamer):要求模型能重构观测或至少预测奖励,目标是“还原世界”。

隐式模型(如 MuZero):不要求模型还原观测,只要求学到的表征足够支持规划。它学习三个函数:表征、动力学、预测(策略 + 价值 + 奖励),直接为 MCTS 服务。

两者的哲学差异:显式模型追求“理解世界”,隐式模型追求“对决策有用”。现代趋势是把两者结合起来。

🎬 世界模型 ≠ 视频生成模型

Sora 一类的视频生成模型确实能产出高度逼真的画面,也被称作“世界模拟器”,但它与真正的世界模型有一个关键区别:可控性。

世界模型必须满足:给定一个动作 \(a_t\),它能预测出对应的状态变化。也就是说,它必须对动作敏感,并且具备因果一致性(推倒杯子,杯子就会倒,而不是随机飘走)。

评估一个“世界模拟器”是否合格,标准不是画面多美,而是:它是否支持反事实查询(如果当时那样做会怎样),以及长程 rollout 是否仍然物理合理。

📏 如何评估一个世界模型?

① 重构质量:解码器能否还原观测(像素误差、FID 等)。但注意——重构好不等于模型好。

② 多步预测误差:在给定视野 \(H\) 下的预测误差,是误差累积的直接体现。

③ 下游任务回报:用这个世界模型训练出来的策略,在真实环境里能拿多少分。这是最硬的指标。

④ 因果一致性 / 可控性:改变动作是否能产生符合预期的状态变化,反事实查询是否合理。

5

总结:价值、应用与局限

解决了什么 · 为什么重要 · 用在哪 · 缺陷

🧩解决了什么问题

  • 样本效率极低:无模型 RL 需要在真实环境中试错数百万次。世界模型让智能体可以在“想象”中学习,把真实样本的需求降低一到两个数量级。
  • 无法规划:无模型策略是“条件反射”,无法预演未来。世界模型使智能体能够进行前向搜索、反事实推理和长程规划。
  • 感知与控制割裂:世界模型提供了一个统一的潜空间,把高维感知压缩成可供决策直接使用的低维状态。
  • 安全试错成本高:在机器人、自动驾驶等场景,真实试错代价巨大甚至不可接受,世界模型提供了“虚拟沙盘”。

⭐为什么重要

  • 通向通用智能的关键拼图:LeCun 等学者认为,“能够预测未来”是智能的核心能力之一,世界模型是通往自主智能体的必经之路。
  • 数据效率的杠杆:世界模型把“数据”变成了“可以反复榨取的资产”——一条真实轨迹可以在想象中被复用成千上万次。
  • 统一了感知、预测与行动:编码、动力学、解码、奖励预测被放进同一个可微框架,端到端联合优化。
  • 连接了生成式 AI 与决策智能:它既是视频生成模型的理论解释,也是具身智能、机器人、自动驾驶的底层基础设施。

🚀应用场景

  • 游戏与电子竞技:Dreamer 系列在 Atari、DMLab、Minecraft 上展示了超越无模型方法的样本效率。
  • 棋类与规划:MuZero 在围棋、国际象棋、将棋上达到超人类水平,无需知道游戏规则。
  • 机器人操作:DayDreamer 让四足机器人直接在真实世界中学会行走;世界模型用于抓取、导航与灵巧操作。
  • 自动驾驶:用世界模型生成逼真的驾驶场景与反事实轨迹,做闭环仿真与安全验证。
  • 生成式内容:Sora、Genie 等把世界模型思想带入视频生成与可交互虚拟环境。
  • 科学与工程仿真:学习物理系统的代理模型,加速流体、材料、气候等领域的模拟。

⚡缺陷与局限

  • 误差累积:多步 rollout 中,单步误差被不断放大(随机误差按 √t、系统偏差按 t),长视野预测几乎必然失真。
  • 模型利用(Model Exploitation):策略会主动寻找模型的漏洞,在想象中刷出高回报,现实里却一塌糊涂。
  • 分布偏移:想象出的状态会逐渐偏离训练数据分布,模型在“没见过的状态”上预测能力急剧下降。
  • 训练不稳定:潜空间容易坍塌(KL 变为 0),需要精心设计 KL 平衡、free bits、离散化等技巧。
  • 计算开销大:训练一个高质量世界模型的成本,往往高于直接训练策略;且推理时的 rollout 也消耗算力。
  • 评估困难:“模型好不好”缺乏统一定量标准,重构质量与决策质量常常不一致。

一句话总结

世界模型的本质,是把“经验”压缩成“可推演的结构”。它让智能体第一次拥有了“如果……会怎样”的能力。 但它也有一个与生俱来的矛盾:模型越有用,它被用来做长程推演的次数就越多;而推演得越远,误差就越大。 如何让世界模型在长程上依然可信,正是当下这一领域最核心的研究问题。