3.5 开源双雄精读：Qwen-VL 与 InternVL 系列技术报告

本章目标：把 3.1–3.3 的框架用在两个真实家族上——按 6.1 的”配置清单”读法拆解 Qwen-VL 与 InternVL 的演化线，并学会”选底座”的决策方法。学完标准：能给任何开源 VLM 填出配置卡，并能为你 8.9 的选题选出合适的底座。

1. 为什么要精读技术报告

会议论文只给你方法创新，技术报告给你的是完整配置单：数据配比、训练阶段表、消融取舍、失败尝试。对做研究的人来说，报告比论文更接近”可复制的真相”——它就是 6.1 说的”30 分钟抽卡归档”的最佳对象。

2. Qwen-VL 演化线（阿里，Apache 开源）

版本	关键变化	对应本笔记知识点
Qwen-VL（2023）	resampler 压缩视觉 token（BLIP-2 血统）	3.3 的 learned query 路线
Qwen2-VL（2024）	NaViT 式动态分辨率（原生比例切 patch）+ M-RoPE（时/高/宽三维位置）	3.3 §2.4，token 压缩的现代答案
Qwen2.5-VL（2025）	grounding（绝对坐标指框）与 GUI agent 能力强化、小时级视频理解、文档解析	视觉 agent（5.6）的底座
Qwen3-VL（2025–26）	early-fusion：视觉 token 从预训练第一天进场（不再”先语言后视觉”）；2B→235B 全尺寸；interleaved 多图上下文	3.1 路线三（原生融合）成为现实

读报告时盯三条线：① 视觉 token 怎么产生和压缩；② 训练分几阶段、各阶段数据配比；③ RL/后训练做了什么（Qwen 系在 grounding/agent 上的后训练强度逐代加大）。

3. InternVL 演化线（上海AI Lab，MIT 开源）

版本	关键变化	对应知识点
InternVL（2023）	自研大视觉塔 InternViT-6B——“与其压狠不如视觉强”	3.3 的大视觉塔路线
InternVL1.5/2（2024）	pixel shuffle 压缩（token ÷4）；尺寸矩阵化（1B–26B 全谱系）	3.3 主力压缩手法
InternVL3（2025）	原生多模态预训练（和 Qwen3-VL 同趋势）；SFT+RL 一体化	3.1 路线三
InternVL3.5（2025–26）	Cascade RL（离线+在线两级）；ViR 视觉分辨率路由（按图复杂度动态分配 token 预算——“不重要的图少花 token”）；推理效率对齐商用模型	效率化（5.8）的教科书案例

血统差异一句话：Qwen 起于 LLM（语言强、agent 生态大），InternVL 起于视觉塔（视觉细节强、文档/OCR 传统深）。两家共同汇入同一终点：动态分辨率 + 原生融合 + RL 后训练 + agent 能力——这四条就是 2026 年开源 VLM 的”公约数配置”。

4. 对比卡（精读后自己填全的模板示例）

维度	Qwen3-VL	InternVL3.5
视觉塔	自研 ViT（early-fusion 联训）	InternViT（大塔路线）
token 策略	动态 patch + 压缩	pixel shuffle + ViR 路由
位置编码	M-RoPE 系	RoPE（细节见报告）
预训练范式	early-fusion	原生多模态预训练
后训练	SFT + RL（agent/grounding 重）	SFT + Cascade RL
强项场景	GUI agent、视频、指框	文档/OCR、细粒度视觉
尺寸谱系	2B→235B	1B→大尺寸，小尺寸效率突出

5. 科研选底座的决策法

1. 尺寸对齐算力（2.10 阶梯）：2B/4B 是 4090 甜点；
2. 任务对血统：做文档/OCR/细粒度 → InternVL 系概率占优；做 agent/grounding/视频 → Qwen 系（生态与工具链成熟）；
3. 许可证与生态：两家都开放商用，但 Qwen 的微调工具链（LLaMA-Factory/MS-SWIFT 支持最全）对学生最友好；
4. 留一手：底座是可替换变量——你的数据集与评测协议（A1）才是资产。实验设计时把”底座”作为对照实验的一个维度（两个底座各跑一遍，结论可信度立刻上档）。

6. 自测题

1. Qwen2-VL 解决”固定方块分辨率”的两件武器？（NaViT 动态 patch；M-RoPE 三维位置）
2. InternVL 的”大视觉塔”哲学与 pixel shuffle 的关系？（先保证视觉特征质量，再无损重排压缩——3.3 的轴）
3. InternVL3.5 的 ViR 在优化什么？（视觉分辨率路由——按图复杂度分配 token 预算，效率视角）
4. 两家共同汇入的”公约数配置”四条？（动态分辨率/原生融合/RL 后训练/agent 能力）
5. 选底座时为什么”你的数据集与协议才是资产”？（底座可替换可对照；数据与评测沉淀为长期研究资产）
6. early-fusion 相比 connector 训练贵在哪、好在哪？（全价预训练 vs 模态深度融合——3.1 的结论在双雄身上的印证）

7. 动手作业

1. 选一份报告（建议 Qwen2.5-VL 或 InternVL3），用 6.1 配置清单模板填出完整配置卡（架构/数据/阶段/RL/评测五张卡）；
2. 用 vLLM 跑通两个家族各一个小尺寸模型（2B 级），对同一批图（用你 A1 的样例）出对比表——你的第一次”双底座对照”；
3. 把两家的”阶段训练表”并排抄录，标注哪些阶段冻结视觉塔、哪些解冻——对照 3.2 的 LLaVA 两阶段，写 200 字演化心得；
4. 挑战：在报告里找出一个”未消融的设计选择”（例如 ViR 的路由阈值）——把它记入你的选题孵化器（6.2 §5）。

8. 延伸资源

• Qwen2.5-VL / Qwen3-VL 技术报告（arXiv）
• InternVL3 / 3.5 技术报告
• MS-SWIFT / LLaMA-Factory 的模型支持列表——工程侧的底座兼容性速查