卷4 · 生成模型
4.7 视频生成：Sora 范式与开源阵营
展开本章目录与同卷章节
1. 从图像到视频：多了什么2. 开源与产业阵营（2026 快照）3. 合流：视频生成 → 世界模型4. 学生可做的四个方向（算力友好）5. 自测题6. 动手作业7. 延伸资源同卷章节4.1 生成模型地图：五大家族一张图4.2 DDPM 原理与从零实现4.3 采样器与 Classifier-Free Guidance4.4 Latent Diffusion 与 Stable Diffusion：生成模型工程学4.5 DiT 与 Flow Matching：生成模型的现代化4.6 可控生成：ControlNet、IP-Adapter 与风格 LoRA4.7 视频生成：Sora 范式与开源阵营4.8 统一模型之争：Chameleon、Transfusion、Janus4.9 前沿瞭望：扩散语言模型本章目标：把视频生成这条”产业最凶”的赛道讲成一张技术地图——3D VAE、时空 token、DiT 缩放，开源阵营现状，以及视频生成向世界模型的合流（本笔记开篇判断的兑现）。学完标准：能画出视频生成的技术栈，说清”视频 DiT 比图像 DiT 多了什么”，知道学生在哪里下手。
1. 从图像到视频：多了什么
视频 = 图像 + 时间一致性。三个新问题：① 时间维的数据量爆炸（16 帧 1080p ≈ 上亿像素）；② 帧间要运动合理（物理、遮挡、视角变化）；③ 长视频要时间连贯（漂移、遗忘）。对应的三个技术件：
- 3D 因果 VAE：把时空一起压缩（空间 ÷8，时间 ÷4 级别），“因果”指每帧只依赖过去帧——适合流式；
- 时空 token 化：压缩后的 latent 按 3D patch（时空块）切成 token 序列——Sora 的 spacetime patch 就是图像 patch（1.4）的直接推广，Transformer 对”一切皆 token”的普适性在此封神；
- DiT + Flow Matching 平移：4.5 的整套架构与训练目标原样搬到 token 序列上，规模加大（Sora 级模型数十 B 参数）。
Sora 技术报告（2024）的历史地位：证明了”视频生成 = token 上的 scaling law”——质量随算力平滑提升、涌现出 3D 一致性与物体持久性。它把视频从”GAN 时代的鬼畜”一举拉到”潜在世界模拟器”的叙事，整个产业随之转向。
2. 开源与产业阵营（2026 快照）
| 阵营 | 代表 | 特点 |
|---|---|---|
| 商业闭源 | Sora 2（音视频联合）、可灵（快手）、Veo（Google）、即梦 | 质量/物理合理性标杆，生态收费 |
| 开源旗舰 | HunyuanVideo（腾讯）、Wan2.x（阿里）、CogVideoX（智谱） | 14B/13B 级 DiT，LoRA/Control 生态活跃 |
| 轻量高效 | LTX-Video、Mochi | 消费级卡实时/准实时，端侧路线 |
开源动手建议：Wan/Hunyuan 的 LoRA 微调与 Control 生态最活跃（4090 可玩 LoRA 级）；CogVideoX 2B 级可全参 LoRA。训练基础模型是巨头的事，后训练与控制是你的事——与图像生成（4.6）完全同构的分工。
3. 合流：视频生成 → 世界模型
本笔记卷首的判断在此收线：视频模型正在被重新定位为世界模型/物理模拟器——不只生成”好看的视频”，而是作为机器人训练环境（5.3 VLA 的仿真数据源）、物理合理性评测对象。技术证据链：后训练对物理一致性的强化（物体不穿模、液体不倒流）、物理先验注入（RoboScape 类物理知情世界模型）、以及”生成式数据引擎”给具身供数。这是你论文选题里”故事最完整”的一条线：视频生成（4.x）× 具身（5.3）× 世界模型（5.4）三卷在此握手。
4. 学生可做的四个方向（算力友好）
- 视频 LoRA/风格化：Wan 系 + 4090，画风/角色一致性微调（美术方向的 B 线延伸——“让画动起来”）；
- 物理一致性评测：构建”物理违规检测”基准（穿模/重力反常/因果颠倒）——VBench 类工作之外，领域化物理评测仍稀缺（A 线思路）；
- 运动可控生成：轨迹控制、首末帧插值、相机路径控制的 LoRA/adapter 研究；
- 视频理解侧的反向题：给 VLM 配视频输入做”物理常识问答”（3.5 的 Qwen 系长视频能力）——生成与理解在此互为评测。
5. 自测题
- 视频生成比图像多了哪三个技术件？（3D 因果 VAE / 时空 token 化 / DiT+Flow 的规模平移）
- spacetime patch 与 ViT patch 的关系？（同一思想在三维的直接推广——“一切皆 token”）
- Sora 报告改变行业叙事的一句话是什么？（视频 = token 上的 scaling law = 潜在世界模拟器）
- 为什么说”后训练与控制是学生的分工”？（基础模型训练是亿级卡时；LoRA/Control/评测单卡可做且是产业刚需）
- 视频→世界模型合流的证据链三条？（物理一致性后训练/物理知情模型/具身数据引擎）
- 你的 A 线评测思路在视频里怎么落？（物理违规检测基准——领域化评测的稀缺位）
6. 动手作业
- 用 diffusers 跑 CogVideoX-2B（或 LTX）出 3 段视频，记录单卡耗时与显存——建立”视频生成的算力手感”；
- 跑 VBench 的开源评测（或其子集）对一个开源模型出分——见识视频评测的维度设计；
- 挑战：给 Wan 系开源模型训一个 500 步的画风 LoRA（用你 8.3 的画家数据集），观察”图像风格如何影响运动质感”——这是 B 线选题的一手素材。
7. 延伸资源
- Sora 技术报告（OpenAI, 2024）——范式宣言，20 分钟读完
- HunyuanVideo / Wan2.1 技术报告——开源阵营的架构细节
- VBench 论文——视频评测的维度体系