3.1 多模态总览：把视觉接进语言模型的三条路线

本章目标：建立多模态领域的顶层地图。所有 VLM 论文（包括你将来要读的每一篇）都在回答同一个问题——视觉信息以什么形式、在哪个位置进入语言模型。学完标准：拿到任何新 VLM，能在 5 分钟内判断它属于哪条路线、connector 是什么、视觉 token 有多少。

1. 核心矛盾：两个模态说着不同的语言

LLM 的世界是离散 token + 词表 + 下一 token 预测（卷2）；视觉塔（ViT/CLIP）输出的是连续特征向量，维度、尺度、语义结构都和词嵌入空间完全不同。多模态的全部工程与科研，本质都是解这道”接口题”。三条路线对应三种哲学：

2. 路线一：双塔对齐（CLIP 范式）——“各说各话，但对得上”

两个独立编码器，各自把图像/文本编码进共享嵌入空间，用内积对齐（1.5/1.6 已实操）。

• 能干什么：检索（以文搜图）、zero-shot 分类、打分（8.2 的美学/奖励模型底座）、数据过滤；
• 干不了什么：没有生成——它只会”匹配”，不会”回答”。你问它”图里的人在做什么”，它给不了自回归的文本；
• 定位：对齐空间的提供者。它虽然不是 VLM 本体，却是所有 VLM 的零件供应商（视觉塔几乎都从 CLIP/SigLIP 初始化）。

3. 路线二：桥接（Connector 范式）——“视觉是外语，翻译给 LLM 听”

当前理解类 VLM 的绝对主流：冻结（或微调）的视觉塔 + 一个轻量 connector + LLM。视觉特征经 connector 投影成”视觉 token”，像外语单词一样插进文本 token 序列，之后 LLM 用同一套注意力统一处理：

输入序列: [文本 token...] [视觉 token ×576] [文本 token...]  →  LLM  →  文本回答

这个心智模型请焊死：视觉 token 就是嵌入空间里的”外来词”。由此立刻推出三件事——① LLM 不需要改架构（还是卷2 那个 GPT）；② 序列长度=文本+视觉 token，注意力平方的账照算（1.4 的核心矛盾）；③ 训练目标没变，还是 next-token prediction——VLM 的训练在形式上就是 SFT，只是输入里混了视觉 token。

代表：LLaVA（3.2 详拆）、BLIP-2、Flamingo、Qwen-VL 系列、InternVL（3.3 横评）。

4. 路线三：原生融合（Native/Early-fusion）——“从胎教开始学双语”

不做”接口”，从预训练第一天就把图文混在一起训练：图像经视觉 tokenizer 或 patch 化变成 token，与文本 token 进同一个词表/同一套 Transformer，统一 next-token 训练。

• 代表：Fuyu（patch 直接进 decoder，连视觉塔都省了）、Chameleon/Emu3（离散 VQ token，卷4.8）、Qwen3-VL 的 early-fusion 训练（视觉 token 从头参与预训练——2026 年头部模型明确转向此路线，不再”先学语言后补视觉”）；
• 优势：模态间深度融合（不是拼接层面的理解）、架构最干净、天然通向理解+生成统一；
• 代价：预训练成本全价，只有巨头玩得起——但它的技术报告是学生最好的读物（见 3.5）。

5. 三条路线对比（背下来）

演化主线一句话：融合点不断提前——从”用完再对齐”（双塔）到”进 LM 时拼接”（桥接）到”预训练时就同班同学”（原生）。你论文的 innovation 也大概率落在”融合点/融合方式”这个轴上。

6. 判断框架：拿到新 VLM 先问四个问题

1. 视觉塔是什么（CLIP/SigLIP/自研）？冻不冻？
2. connector 是什么（线性/MLP/resampler/Q-Former）？压到多少视觉 token？
3. 训练分几阶段？各阶段冻什么训什么？（3.2 用 LLaVA 给出标准答案）
4. 数据是什么（caption 预训练 + 指令数据配比）？

四问的答案就是这篇论文的”配置清单”——90% 的 VLM 论文差异都在这四项里，也直接对应你的复现计划。

7. 自测题

1. 双塔为什么不能”回答问题”？（无自回归解码器，只学了对齐空间）
2. “视觉 token 是外语”推出哪三个工程结论？（LLM 架构不变 / 序列变长平方成本 / 训练目标仍是 next-token）
3. 原生融合比桥接好在哪、贵在哪？（深度融合与统一潜力；全价预训练）
4. 视觉 token 数量为什么是核心矛盾？（576 个起，高分辨率/视频爆炸，注意力平方）
5. CLIP 既然不是 VLM，为什么仍是产业地基？（视觉塔初始化、数据过滤、奖励模型、检索——四位一体）

8. 动手作业

1. 画一张三路线对比图（手画或 PPT），每个路线标一个代表模型和你自己的例子；
2. 挑一篇你感兴趣的 VLM 论文（建议 LLaVA-1.5 或 Qwen2-VL 报告），用 §6 四问列它的”配置清单”——3.2 复现 LLaVA 前的预习；
3. 算账：CLIP ViT-L/14 在 336px 下产生多少视觉 token？（336/14=24 → 576+1 CLS；再算 896px 下 anyres 切块后的数量级）

图解 · 三条路线一张图

flowchart TB
  IN["图像 + 文本"] --> R1["路线一：双塔对齐<br>CLIP / SigLIP<br>各自编码 → 共享空间"]
  IN --> R2["路线二：桥接<br>视觉塔 + connector + LLM<br>视觉 token 塞进序列"]
  IN --> R3["路线三：原生融合<br>同一词表 / 从头混训<br>early-fusion"]
  R1 --> O1["产出：检索 / 打分 / 过滤<br>（不能生成）"]
  R2 --> O2["产出：理解 + 对话 + 推理<br>（当前主力）"]
  R3 --> O3["产出：理解 + 生成统一<br>（下一代方向）"]
  O1 -. "零件供应商：视觉塔 / 数据过滤 / 奖励底座" .-> R2

虚线是常被忽略的关系：双塔不是路线二的对手，而是它的上游供应商——CLIP 提供视觉塔初始化、训练数据过滤、奖励模型底座（8.2/4.4）。三条路线是产业链分工，不是三个孤岛。

9. 延伸资源

• LLaVA-1.5 论文（Improved Baselines with Visual Instruction Tuning）——下一章主角，先读
• “Multimodal Foundation Models: From Specialists to General-Purpose Assistants”（Li et al. 综述）——地图级读物，选读
• Qwen3-VL 技术报告——early-fusion 的一手材料