4.8 统一模型之争：Chameleon、Transfusion、Janus

本章目标：讲清”一个模型既理解又生成”的三条架构路线及其取舍——这是 4.x 的收官章，也是多模态领域最重要的一场架构辩论。学完标准：能画出三条路线的结构图，说清各自的天花板，理解为什么 DeepSeek 的”解耦”是务实的赢家。

1. 圣杯问题

GPT 能理解图像（接上视觉塔，卷3）却不能画图；SD 能画图却不会聊天（4.x）。统一模型的愿景：一套权重，看图说话、听话作图、图文交错推理——就像人。三种路线，三种哲学：

2. 路线一：Chameleon——全离散，一套目标走天下

Meta（2024）的激进方案：文本 token + VQ 图像 token（3.4）进同一个词表，单一 Transformer 纯自回归——理解和生成都是 next-token prediction，目标完全统一。

两个代价：① 训练不稳——两种模态的数值分布差异大导致 norm 发散，Chameleon 为此发明了 QK-Norm（2.3 埋过线的稳定件，后来被 Qwen3 等广泛继承——统一模型的副产品反哺了 LLM）；② 生成质量被 VQ tokenizer 封顶（3.4 的天花板定律）：Chameleon 的图约 1M token 的重建精度，明显落后同期专用扩散模型。

哲学：统一性 > 短期质量。赌的是”Scaling law 会填补差距”。

3. 路线二：Transfusion——一套 Transformer，两种损失

Meta 的折中（2024）：图像不走离散 token，而是连续 latent 混在序列里；训练时混合目标——文本 token 用 LM 损失，图像片段用扩散损失（对这段序列做去噪）。注意力对全序列统一计算，模态间深度交互。

取舍：避开了 VQ 天花板（图像质量对齐扩散模型）；代价是训练复杂度高（两种损失的平衡、噪声调度混进序列）、推理时生成要走多步扩散循环，“一个目标”的优雅性打折。

4. 路线三：Janus——解耦视觉编码，务实者的胜利

DeepSeek（2024–25）问了一个 3.4 章早就埋下的问题：为什么要让一个视觉编码器同时伺候两个主人？ 理解要的是语义特征（SigLIP 式），生成要的是细节重建（VQ 式）——两者天然冲突。Janus 的答案：编码器解耦、主干共享——SigLIP 编码”看”，VQ tokenizer 编码”画”，两路特征都进同一个 LLM 主干，自回归统一输出。

结果：Janus-Pro 以更小的规模在理解与生成两边同时打过 Chameleon——“解耦”证明了”统一”不等于”同一套编码”。这是工程哲学对架构洁癖的又一次胜利（与 LLaVA 的 MLP 胜 Q-Former 同款剧情）。

5. 三路线对照表（背下来）

	Chameleon	Transfusion	Janus(-Pro)
图像表示	离散 VQ token	连续 latent	双编码器（语义+VQ）
训练目标	纯自回归	LM+扩散混合	纯自回归（两组编码）
天花板	VQ 重建质量	训练复杂度	双编码器的算力开销
训练稳定性	差（QK-Norm 救场）	中	好
一句话哲学	统一性至上	质量与统一的折中	解耦冲突，务实优先

2026 的现状：没有单一赢家，但收敛方向清晰——理解侧向 early-fusion 走（Qwen3-VL），生成侧向 Flow/DiT 走（4.5），统一模型研究聚焦”怎么把两者塞进一套权重”（Transfusion 变体与解耦路线是主流）。对学生的意义：统一模型的基础研究门槛高，但评测（统一模型的图文能力冲突量化）、tokenizer（3.4 的续作）、模态冲突的可解释性都是开放题。

6. 自测题

1. Chameleon 的两大代价及其一个副产品？（VQ 封顶、训练不稳；QK-Norm 反哺 LLM）
2. Transfusion 的”混合”具体指什么？（同一序列里文本走 LM 损失、图像 latent 走扩散损失）
3. Janus 解耦的理由？为什么说是”务实”？（理解与生成对视觉特征的需求冲突；双编码器小成本换两边性能）
4. 3.4 的哪条洞察预言了 Janus？（tokenizer 天花板 + 理解要语义/生成要细节的分工）
5. 统一模型”没有单一赢家但收敛清晰”指什么？（理解 early-fusion 化、生成 Flow 化、架构辩论聚焦编码方式）

7. 动手作业

1. 画三路线结构图（手绘即可），在每条线上标注”编码方式/训练目标/天花板”三要素；
2. 用 Janus-Pro（或 Chameleon）开源权重各生成 5 张图 + 问 5 个理解题，与同尺寸专用模型（SD+Qwen-VL）对比——建立”统一 vs 专用”的手感差距；
3. 精读 Janus-Pro 技术报告的消融部分：找”解耦 vs 共享编码器”的对照数据；
4. 挑战：列出统一模型的三个未解问题（提示：tokenizer 上限、训练稳定性、图文干扰）——每个都是 6.3 的选题候选。

8. 延伸资源

• Chameleon / Transfusion（Meta 技术报告）——路线一与路线二的原始宣言
• Janus / Janus-Pro（DeepSeek）——路线三，精读消融
• Show-o / Emu3——混合与全离散的后续演化（泛读）