5.2 数据为中心的 VLM 研究

本章目标：论证并教会”数据才是 VLM 的主战场”——架构已收敛（都是 LLaVA 变体），数据的差异才是模型差异。这是学生最友好的研究方向（算力友好、产业刚需、和你的 A1/D1 直接相连）。学完标准：能说出 VLM 数据的四大类、数据质量的五个可操作指标，并能设计一个固定模型只动数据的对照实验。

1. 为什么说”架构之争基本结束”

3.3 的 Q-Former 之死与 LLaVA-1.5 的胜利已经演示过一次：在数据和架构的对赌里，数据几乎总赢。2026 年的开源 VLM 公约数配置（3.5）进一步收敛了架构空间。于是研究价值向两端转移：一端是预训练范式（原生融合，巨头的事），另一端就是数据——SFT 混合配比、caption 质量、合成数据、去污染。产业侧同样如此：各家 VLM 的”秘方”公开的只有架构，真正保密的从来是数据管线。

2. VLM 数据的四大类（对照 3.2 的两阶段）

类别	服役阶段	质量要点
Caption/对齐数据	阶段一	规模大、描述详实（“详注 caption”质量 > 短标签）
指令/SFT 数据	阶段二	任务多样性（VQA/描述/推理/grounding 混合）+ 答案质量
偏好数据	DPO/RM	成对可比、标注一致性
可验证数据	RLVR	答案可自动判分（5.1 的奖励源）

关键认知（LLaVA 的学术任务数据给过示范）：指令数据可以从已有标注”合成”——用强模型把 caption/检测框改写成多轮对话和推理题。合成不是贬义词，是主流工艺；质量取决于改写模型和清洗标准。

3. 数据质量的五个可操作指标（研究/工程两用）

1. 去重率：精确+MinHash 模糊去重后的重复占比（2.4 §1 的工具）；
2. 多样性覆盖：对 caption 做嵌入聚类，看簇覆盖与均衡度（一种画法/一种构图垄断 = 长尾塌缩）；
3. 信息密度：caption 的信息熵/长度分布——“一张图”三个字的 caption 是负资产；
4. 图文一致性：CLIP 分数过滤 + 抽样人工核查（图文不对齐的样本毒害阶段一）；
5. 污染检查：与评测基准的重叠扫描（3.7 陷阱 1 的供给侧防治）。

4. 学生版研究配方：固定模型，只动数据

实验设计的干净版（控制变量法在 VLM 上的标准应用）：

• 固定：底座（Qwen2.5-VL-2B）、两阶段训练配置、评测协议（冻结，3.7）；
• 只动一个数据变量，测下游：候选变量——① caption 质量（短标签 vs 详注，可用强模型重写子集对比）；② SFT 任务混合比（加 grounding 任务对推理的影响）；③ 数据量 scaling（1k/5k/25k 曲线）；④ 去重前后；⑤ 课程顺序（简单→难 vs 随机）；
• 产出形态：一张”数据变量 → 多基准增量”的表——这就是一篇数据分析文的全部骨架，且免费卡或单张 4090 就够。

学术范式参照：Cambrian-1（2024）的”CV-benchmark 驱动的数据策展”——用评测表现反推数据配比，循环迭代；ShareGPT4V 类工作证明”只换更好的 caption，全基准普涨”。这两篇是本方向的必读样板。

5. 合成数据的风险清单（进组前必知）

1. 模型近亲繁殖（model collapse）：用模型生成数据训下一代，分布逐代收窄——多样化策略（多来源模型、混合真实数据）是主流对冲；
2. 偏差烙印：合成器（GPT-4o 系）的风格/偏见印进学生模型（answer 长度、语气、甚至错误模式）；
3. 污染闭环：合成数据里混着评测题（合成器见过榜单）——供给侧也要做污染扫描；
4. 标注者分歧的消失假象：合成数据”过于一致”，掩盖了任务本来的模糊性——评测时要留真实人工标注的锚点。

6. 与你的选题库接轨

8.9 里几乎每条线都吃这个方向的红利：A1 是”评测侧”的数据工程；D1（中国画数据集）是”领域侧”的数据工程；E2/E1 的 RL/DPO 需要”偏好/可验证”数据工艺。建议的复合路径：先按 §4 跑一个数据变量实验（练习+热身），再把方法论平移到你的领域数据（D1）上——同一个技能包用两次。

7. 自测题

1. “架构之争结束”的证据两条？（Q-Former 之死；开源 VLM 公约数配置收敛）
2. 四类数据各服务哪个阶段？（caption→对齐；SFT→行为；偏好→DPO/RM；可验证→RLVR）
3. 五个数据质量指标里哪个最容易被忽视、后果是什么？（污染检查——训练评测重叠让一切实验作废）
4. §4 配方为什么是”干净”的？（固定模型与协议、单变量动数据——控制变量法的标准应用）
5. ShareGPT4V 类工作的核心发现一句话？（只把 caption 换成详注，全基准普涨——数据质量的红利直接可见）
6. 模型近亲繁殖的机理与对冲？（合成数据训下一代→分布收窄；多源混合真实数据对冲）

8. 动手作业

1. 下载 LLaVA 一份开源 SFT 数据子集，跑五个质量指标（写 data_audit.py），出”数据体检报告”；
2. §4 配方跑一个最小版：1k 短标签 vs 1k 详注 caption 的阶段一对比（免费卡可完成），看下游 caption 质量；
3. 精读 Cambrian-1 的数据策展章节 + ShareGPT4V，各产出一页 6.1 模板笔记；
4. 给 D1 写”标注规范 v0”（8.9 已布置）——用 §3 的指标定义验收标准。

9. 延伸资源

• Cambrian-1 论文（Vision-centric data curation）——本方向的方法论纲领
• ShareGPT4V 论文——caption 质量红利的最直接证明
• LIMA（2.5 已列）——“质量>数量”的文本侧先声