卷4 · 生成模型
4.1 生成模型地图:五大家族一张图
展开本章目录与同卷章节
1. 生成式在解什么问题2. 五大家族速览3. 两条轴看懂全部恩怨4. 为什么你要主学扩散/流5. 自测题6. 动手作业7. 延伸资源同卷章节4.1 生成模型地图:五大家族一张图4.2 DDPM 原理与从零实现4.3 采样器与 Classifier-Free Guidance4.4 Latent Diffusion 与 Stable Diffusion:生成模型工程学4.5 DiT 与 Flow Matching:生成模型的现代化4.6 可控生成:ControlNet、IP-Adapter 与风格 LoRA4.7 视频生成:Sora 范式与开源阵营4.8 统一模型之争:Chameleon、Transfusion、Janus4.9 前沿瞭望:扩散语言模型本章目标:在钻进扩散模型的数学之前,先拿到全图——生成式建模有哪些家族、各自赌的是什么、谁在什么场景活着。学完标准:能一句话说清五大家族各自的”建模范式”,并解释为什么 2020 年后天平倒向扩散/流。
1. 生成式在解什么问题
1.1 章说过:判别式学 ,生成式学 或 (c 是文本等条件)。“学 “落地成两个可考核的能力:采样(生成新样本)和密度评估(给样本打概率,研究用)。所有家族的差异,本质是怎么表示和逼近这个分布。
2. 五大家族速览
| 家族 | 建模范式 | 强项 | 死穴 | 现状 |
|---|---|---|---|---|
| 自回归 AR | 链式法则分解 | 训练稳定、与 LLM 同构、可无限续写 | 串行采样慢;图像要离散化(3.4) | 统一模型路线的引擎(GPT/Janus/Chameleon) |
| VAE | 潜变量 + 变分下界(ELBO) | 快、表征可插值 | 重建糊(优化下界而非似然) | 独立生成已边缘化;活着:SD 的压缩器(4.4) |
| GAN | 隐式分布 + 生成器/判别器对抗 | 快(一步采样)、锐利 | 训练不稳、模式坍塌、难评测 | 生成主体已让位;活在超分/解码器里 |
| Diffusion | 迭代去噪:学每一步的”去噪方向” | 训练稳、多样性好、可控性强 | 多步采样慢(被蒸馏缓解) | 图像/视频生成的统治者 |
| Flow | 学一条把噪声搬运到数据的速度场,ODE 采样 | 训练最简、路径直、少步采样 | 理论较新,生态在迁移中 | 当前最先进(SD3/FLUX) |
3. 两条轴看懂全部恩怨
- 显式密度 vs 隐式分布:AR/VAE/Diffusion/Flow 都(以不同方式)和概率挂钩——可算 loss、可做 likelihood;GAN 只有判别器这个”裁判”,没有显式概率——所以 GAN 训练如走钢丝(生成器与判别器的平衡)且难评测(没有标准 loss 曲线可看);
- 一步 vs 迭代:GAN/VAE 一步出图(快);AR/Diffusion/Flow 逐步走(慢但稳)。2020–2025 的主线就是”迭代派的稳定性”打败”一步派的锐利”——GAN 时代生成人脸清晰但多样性差、模式坍塌(十张图九张同款);扩散多样性/保真双高,计算便宜后锐利劣势消失。而现在蒸馏与流模型正在把”迭代”重新变快——历史在螺旋回升。
4. 为什么你要主学扩散/流
- 产业在用:SD/FLUX/可灵/即梦全是这条线;理解类 VLM 之外的一切”生成”岗位都考它;
- 科研活跃:可控生成、一致性模型、流匹配理论、统一模型——论文产出密度最高的生成子领域;
- 数学回报最高:扩散的”去噪即梯度场”思想、流的”直线搬运”思想,学透之后你对”模型在学什么”的直觉会上一个台阶;
- 与卷3 的接口现成:VAE 活在 SD 的压缩器里(4.4)、VQ 活在统一模型里(3.4/4.8)——五大家族不是五选一,而是当前系统里的不同器官。
5. 自测题
- GAN 的”隐式分布”是什么意思?带来哪两个工程问题?(没有显式概率密度;训练不稳 + 难评测)
- 模式坍塌是什么?哪家的死穴?(生成器把多个模态塌到一个安全答案;GAN)
- VAE 在 2026 年以什么身份活着?(SD/FLUX 的潜空间压缩器——4.4)
- AR 生成图像的前置条件是什么?(离散 tokenizer,3.4)
- “迭代派的稳定性打败一步派的锐利,蒸馏又把迭代变快”——概括了哪十年的什么主线?(2020s 生成模型主导权变迁:GAN→扩散→快采样化)
- Flow 和 Diffusion 最朴素的一句话区别?(学”逐步去噪的概率修正” vs 学”噪声到数据的直线速度场”——4.5 展开)
6. 动手作业
- 画五大家族地图(横轴:一步↔迭代;纵轴:显式↔隐式),把代表模型标上去;
- 各下载一张 2018 年 StyleGAN 人脸和一张 2025 年扩散人脸对比,用 8.1 的”明暗五调子/纹理”语言写 200 字差异分析——感受”锐利 vs 多样性”的历史具体含义。
7. 延伸资源
- Lilian Weng 博客《What are Diffusion Models?》——本章到 4.3 的最佳伴读
- 《难以置信的生成模型之旅》类综述视频(B 站搜”生成模型 五大家族”)——快速过图
