5.4 世界模型与空间智能：学会"预测世界怎么变"

本章目标：搞清”世界模型”这个词背后的四条技术脉络——视频预测、潜空间动力学、JEPA、3D 空间表征——以及它为什么同时被机器人、AGI、游戏三个行业押注。学完标准：能区分四种”世界模型”的形态，说清 JEPA 为什么主张”不在像素空间预测”。

1. 定义与思想源头

世界模型 = 对”状态-动作 → 下一状态”的内部模拟器：给定当前世界状态和动作，预测世界如何演化。思想源头是 Ha & Schmidhuber（2018）的《World Models》：小网络学会”在梦里训练”——先学一个环境模型，再在模型想象出的环境中练策略，不用真实交互。LeCun 的主张更激进：推理的本质就是在世界模型上做模拟规划——世界模型不是某个应用，而是 AGI 的地基。李飞飞的空间智能叙事则强调 3D：理解/生成可操控的三维世界。三条行业线（机器人、AGI 理论、游戏引擎）在此交汇。

2. 四条技术脉络（一张表分清）

形态	核心机制	代表	与本笔记的连接
视频预测型	生成模型直接预测未来帧	Sora 类、Genie（可交互生成）、4.7 的合流	生成模型当模拟器
潜空间动力学	编码状态 → 学习潜空间里的状态转移 → 在想象中规划	Dreamer 系（RSSM）	强化学习的老朋友（2.7 的环境侧）
JEPA 家族	在表征空间预测（不重建像素），只预测”可预测的部分”	I-JEPA、V-JEPA（LeCun 系）	自监督（1.5）的进阶哲学
3D 空间表征	显式三维（NeRF/3DGS/点云）作为空间记忆与生成目标	World Labs 的 3D 场景生成	5.5 的 3D 章节预告

JEPA 的主张（本章最重要的思想）：在像素空间预测未来会把模型容量浪费在”不可预测的细节”（每片树叶的抖动）；正确做法是在抽象表征空间做预测——只学世界的可预测结构。这与扩散/自回归”重建一切”的哲学正面相对，是当前生成派 vs 表征派的核心分歧（业界有分歧，两派都有强证据，值得你各读一篇再站队）。

3. 为什么三个行业都在押注

1. 机器人（5.3）：真机数据太贵，世界模型 = 无限便宜的仿真环境（4.7 的生成式数据引擎是它的产品形态）；
2. AGI：LeCun 论证”LLM 缺世界模型所以不会真推理”——世界模型是自回归之外的第三条路；
3. 游戏/影视：实时生成的可交互世界（Genie 类）重写内容生产管线——“生成式引擎”替代”渲染引擎”的长期叙事。

4. 评测：世界模型怎么打分

• 物理一致性（4.7 的 A 线思路）：物体持久性、重力/碰撞合理、因果顺序；
• 动作条件性：给定不同动作，预测是否正确分化（区分”视频背诵”与”真正的动力学”）；
• 反事实推理：“如果当时向左转会怎样”——模拟器的核心能力，也是最难的评测。

与 A1 的同构性：别人评测”画得像不像”，你评测”物理对不对”——领域化评测的红利逻辑完全一样。

5. 学生可做的三件事（单卡友好）

1. 物理一致性基准（4.7 已列，本方向的正主）：构造”违反物理”的探针集，测视频模型的世界知识；
2. 玩具环境上的 Dreamer：MiniGrid/Atari 上复现 Dreamer（开源实现成熟，单卡一天级），画出”想象训练 vs 真实交互训练”的样本效率对比曲线——潜空间世界模型的教科书体验；
3. V-JEPA 特征探针：冻结 V-JEPA 特征做下游（动作识别/物理属性判断），与 CLIP/DINO 特征对比——用 1.5/8.2 学过的探针方法论，回答”表征派学到了什么”。

6. 自测题

1. 世界模型的一句话定义与思想源头？（状态+动作→下一状态的内部模拟器；Ha & Schmidhuber 的”梦里训练”）
2. JEPA 为什么拒绝在像素空间预测？（容量浪费在不可预测细节；只学可预测的抽象结构）
3. 四种形态各举一个代表与一章连接？（视频/Genie-4.7；Dreamer-RL；V-JEPA-1.5；World Labs-5.5）
4. “动作条件性”评测防的是什么？（模型背诵视频而非学动力学——不给动作条件时多种未来应该分化）
5. 三个行业各自的押注理由？（机器人省真机数据/AGI 推理地基/游戏内容管线）
6. 生成派与表征派的分歧一句话？（重建一切像素 vs 只预测可预测的抽象结构）

7. 动手作业

1. 在 MiniGrid 上跑 Dreamer 开源实现，记录采样效率曲线（环境步数 vs 回报）——亲身体验”梦里训练”；
2. 冻结 V-JEPA 与 CLIP 特征，各训一个线性探针做”物理属性判断”（如碰撞后方向），对比准确率；
3. 构造 20 条”物理探针”视频 prompt（球落地/水面倒影/织物摆动），测 2 个开源视频模型，写 300 字物理一致性观察——你的 A 线种子；
4. 挑战：读 LeCun 的《A Path Towards Autonomous Machine Intelligence》§1，用三句话转述”自回归不是真推理”的论证，并写一条你的反驳。

8. 延伸资源

• Ha & Schmidhuber《World Models》(2018)——思想源头，博客版可读性极佳
• Dreamer V3 论文——潜空间动力学的集大成
• I-JEPA / V-JEPA 论文——表征派的宣言
• Genie 2（DeepMind）——可交互世界生成的现状