云镜收藏

稍后阅读

清单保存在当前浏览器,方便下次回来继续阅读。

清单还是空的

在笔记卡片或正文页点击“加入稍后阅读”即可收藏。

卷4 · 生成模型

4.1 生成模型地图:五大家族一张图

约 5 分钟阅读
全书目录

展开本章目录与同卷章节1. 生成式在解什么问题2. 五大家族速览3. 两条轴看懂全部恩怨4. 为什么你要主学扩散/流5. 自测题6. 动手作业7. 延伸资源同卷章节4.1 生成模型地图:五大家族一张图4.2 DDPM 原理与从零实现4.3 采样器与 Classifier-Free Guidance4.4 Latent Diffusion 与 Stable Diffusion:生成模型工程学4.5 DiT 与 Flow Matching:生成模型的现代化4.6 可控生成:ControlNet、IP-Adapter 与风格 LoRA4.7 视频生成:Sora 范式与开源阵营4.8 统一模型之争:Chameleon、Transfusion、Janus4.9 前沿瞭望:扩散语言模型

本章目标:在钻进扩散模型的数学之前,先拿到全图——生成式建模有哪些家族、各自赌的是什么、谁在什么场景活着。学完标准:能一句话说清五大家族各自的”建模范式”,并解释为什么 2020 年后天平倒向扩散/流。

1. 生成式在解什么问题

1.1 章说过:判别式学 P(y∣x)P(y|x),生成式学 P(x)P(x) 或 P(x∣c)P(x|c)(c 是文本等条件)。“学 P(x)P(x)“落地成两个可考核的能力:采样(生成新样本)和密度评估(给样本打概率,研究用)。所有家族的差异,本质是怎么表示和逼近这个分布。

2. 五大家族速览

家族建模范式强项死穴现状
自回归 AR链式法则分解 P(x)=∏P(xt∥x<t)P(x)=\prod P(x_t\|x_{<t})训练稳定、与 LLM 同构、可无限续写串行采样慢;图像要离散化(3.4)统一模型路线的引擎(GPT/Janus/Chameleon)
VAE潜变量 + 变分下界(ELBO)快、表征可插值重建糊(优化下界而非似然)独立生成已边缘化;活着:SD 的压缩器(4.4)
GAN隐式分布 + 生成器/判别器对抗快(一步采样)、锐利训练不稳、模式坍塌、难评测生成主体已让位;活在超分/解码器里
Diffusion迭代去噪:学每一步的”去噪方向”训练稳、多样性好、可控性强多步采样慢(被蒸馏缓解)图像/视频生成的统治者
Flow学一条把噪声搬运到数据的速度场,ODE 采样训练最简、路径直、少步采样理论较新,生态在迁移中当前最先进(SD3/FLUX)

3. 两条轴看懂全部恩怨

  • 显式密度 vs 隐式分布:AR/VAE/Diffusion/Flow 都(以不同方式)和概率挂钩——可算 loss、可做 likelihood;GAN 只有判别器这个”裁判”,没有显式概率——所以 GAN 训练如走钢丝(生成器与判别器的平衡)且难评测(没有标准 loss 曲线可看);
  • 一步 vs 迭代:GAN/VAE 一步出图(快);AR/Diffusion/Flow 逐步走(慢但稳)。2020–2025 的主线就是”迭代派的稳定性”打败”一步派的锐利”——GAN 时代生成人脸清晰但多样性差、模式坍塌(十张图九张同款);扩散多样性/保真双高,计算便宜后锐利劣势消失。而现在蒸馏与流模型正在把”迭代”重新变快——历史在螺旋回升。

4. 为什么你要主学扩散/流

  1. 产业在用:SD/FLUX/可灵/即梦全是这条线;理解类 VLM 之外的一切”生成”岗位都考它;
  2. 科研活跃:可控生成、一致性模型、流匹配理论、统一模型——论文产出密度最高的生成子领域;
  3. 数学回报最高:扩散的”去噪即梯度场”思想、流的”直线搬运”思想,学透之后你对”模型在学什么”的直觉会上一个台阶;
  4. 与卷3 的接口现成:VAE 活在 SD 的压缩器里(4.4)、VQ 活在统一模型里(3.4/4.8)——五大家族不是五选一,而是当前系统里的不同器官。

5. 自测题

  1. GAN 的”隐式分布”是什么意思?带来哪两个工程问题?(没有显式概率密度;训练不稳 + 难评测)
  2. 模式坍塌是什么?哪家的死穴?(生成器把多个模态塌到一个安全答案;GAN)
  3. VAE 在 2026 年以什么身份活着?(SD/FLUX 的潜空间压缩器——4.4)
  4. AR 生成图像的前置条件是什么?(离散 tokenizer,3.4)
  5. “迭代派的稳定性打败一步派的锐利,蒸馏又把迭代变快”——概括了哪十年的什么主线?(2020s 生成模型主导权变迁:GAN→扩散→快采样化)
  6. Flow 和 Diffusion 最朴素的一句话区别?(学”逐步去噪的概率修正” vs 学”噪声到数据的直线速度场”——4.5 展开)

6. 动手作业

  1. 画五大家族地图(横轴:一步↔迭代;纵轴:显式↔隐式),把代表模型标上去;
  2. 各下载一张 2018 年 StyleGAN 人脸和一张 2025 年扩散人脸对比,用 8.1 的”明暗五调子/纹理”语言写 200 字差异分析——感受”锐利 vs 多样性”的历史具体含义。

7. 延伸资源

  • Lilian Weng 博客《What are Diffusion Models?》——本章到 4.3 的最佳伴读
  • 《难以置信的生成模型之旅》类综述视频(B 站搜”生成模型 五大家族”)——快速过图