4.9 前沿瞭望：扩散语言模型

本章定位：卷4 的收官章——当生成模型的方法论反过来入侵 LLM 的地盘会怎样？了解扩散语言模型（Diffusion LM）的机制、优势与现状，建立”自回归不是唯一的生成范式”的免疫。学完标准：能讲清掩码扩散并行解码的机制，能列出它与 AR 的真实差距。

1. 动机：AR 的三个先天限制

卷2 你已把自回归焊死在脑子里（causal mask + 逐 token 生成，2.3），现在看它的三处”先天性”：

1. 串行生成：token 一个接一个出——速度被链长锁死（2.8 的 decode memory-bound 之上再叠串行）；
2. 单向上下文：生成第 t 个 token 时看不到未来——改一个前缀要全部重写；
3. 错误累积：前面的错被后面”将错就错”。

扩散语言模型的赌注：用”从噪声文本迭代去噪”替换自回归——整段文本并行生成，可双向上下文、可任意位置修改。

2. 机制：掩码扩散（主流形态）

现代扩散 LM（MDLM/LLaDA 系）的形态比连续扩散更简洁：

1. 前向：随机把文本的一些 token 替换成 [MASK]（掩码率随时间 t 变化）——1.5 章 MAE 的文字版；
2. 训练：让模型在被掩码位置并行预测原始 token（交叉熵）；
3. 生成：从全 [MASK] 序列开始，迭代地”揭示”位置——每轮模型同时预测所有位置，按置信度解码一部分，剩余继续掩码迭代。

与 AR 的本质区别：AR 是”从左到右一条链”，扩散是”从模糊到清晰的整段雕塑”——没有因果 mask 的位置限制，每个位置都能看见全局（3.2 的 <image> 拼接、1.5 的 MAE、3.4 的离散 token——本笔记的零件在此全部合流）。

3. 现状与真实差距（诚实版）

• 里程碑：LLaDA（2025，8B 扩散 LM）证明扩散路线能 scale 到 LLM 规模且通用能力可用；Mercury/Gemini Diffusion 等商用扩散模型展示数倍生成速度优势（并行解码）；代码/填补类任务（双向上下文天然友好）表现出色；
• 真实差距：① 变长生成的控制与效率仍不如 AR 成熟；② KV cache 等 AR 推理优化栈（2.3/2.8）不能直接平移；③ 同等规模下通用基准仍略逊最强 AR 模型；④ 生态（微调框架/agent 集成）是 AR 的天下。
• 合理预期：中短期内 AR 仍是主流，扩散在高吞吐、可编辑、填补式场景先吃下阵地；混合架构（AR 主干 + 扩散局部）是缓和路线。

对学生的意义：这是”范式早期”的典型信号（评价指标未固化、优化栈空白）——评测与效率优化是学生可切入的题（例如：扩散 LM 的 KV 替代物、并行解码的调度策略研究），但要做好”赛道可能不兑现”的风险管理（6.3 的降级思维）。

4. 自测题

1. AR 的三个先天限制？（串行/单向/错误累积）
2. 掩码扩散的三步机制？它和 MAE 什么关系？（掩码-并行预测-置信度揭示；MAE 的文字版+迭代生成）
3. 扩散 LM 的天然优势场景？为什么？（填补/编辑/高吞吐——双向上下文+并行解码）
4. 为什么 AR 的推理优化栈不能平移？（KV cache 依赖因果结构——扩散的注意力是双向的）
5. “范式早期”的三个信号与学生切入点？（指标未固化/优化栈空白/生态缺失→评测与效率题）
6. 混合路线指什么？（AR 主干局部扩散——取两者之长的缓和方案）

5. 动手作业

1. 读 LLaDA 报告 §1–2，画”AR vs 扩散”的生成过程对比图（一条链 vs 整段雕塑）；
2. 用 HuggingFace 上的开源扩散 LM（LLaDA 或更小的复现）做一次”文本填补”实验（中间挖空，看它双向补全）——AR 做不到的事，亲手跑一次；
3. 测一次生成吞吐：同参数量 AR vs 扩散模型的 tokens/s——验证”并行”叙事的实感；
4. 挑战：读 SEDD 或 MDLM 论文的 loss 推导 §3（选读）——检验你 0.1/4.2 的概率与扩散功底。

6. 延伸资源

• LLaDA 论文（2025）——扩散 LM 的规模证明
• MDLM / SEDD 论文——离散扩散的方法基础
• Mercury（Inception Labs）博客——商用扩散模型的速度叙事