卷3 · 多模态理解 VLM
3.8 数据为中心的 VLM：具体案例研读
展开本章目录与同卷章节
1. LLaVA 系数据谱系（开源数据的骨架样本）2. 报告里的数据章节怎么读（以双雄为例的读表法）3. 开源数据集实操盘点（选数据先看这张单）4. 领域数据的”配方迁移”练习（你的方向）5. 自测题6. 动手作业7. 延伸资源同卷章节3.1 多模态总览：把视觉接进语言模型的三条路线3.2 LLaVA 范式精读与复现：两阶段训练全流程3.3 Connector 设计空间：Flamingo、BLIP-2 与开源双雄的答案3.4 视觉 Tokenizer：VQ-VAE 与 VQGAN——离散化是生成路线的地基3.5 开源双雄精读：Qwen-VL 与 InternVL 系列技术报告3.6 文档理解与 OCR-free：让 VLM 读懂 PDF3.7 多模态评测体系与陷阱3.8 数据为中心的 VLM：具体案例研读本章定位：5.2 讲了方法论（指标、配方、风险），这一章读具体的菜谱——LLaVA 系数据谱系的构成、头部模型报告里的数据配比表读法，以及开源数据集的实操盘点。学完标准：能读懂任何 VLM 报告的数据章节，并能为你 8.5/8.6 的领域数据选取参照模板。
1. LLaVA 系数据谱系（开源数据的骨架样本）
| 数据集 | 规模/构成 | 服役阶段 | 关键设计 |
|---|---|---|---|
| LCS558K | 55.8 万条详情 caption | 阶段一对齐 | 强模型重写 caption（“详细描述”） |
| LLaVA-Instruct 665K | 对话 158K + 详细描述 23K + 复杂推理 86K + VQA（VQA/OCR/科学） | 阶段二 SFT | 用 GPT-4 从 caption+检测框合成——“学术任务数据”的配方本体 |
| LLaVA-OneVision 系 | 单图/多图/视频混合，配比公开 | 三域统一 | 数据配比是它的核心贡献之一 |
读法要点：665K 的内部构成（四类任务的比例）比总量更重要——它定义了”通用 VLM SFT”的默认配方，后来者都在此基础上增删。作业里要你真的去数一遍（HF 上有现成分区）。
2. 报告里的数据章节怎么读（以双雄为例的读表法）
3.5 的配置清单里，数据部分通常给一张”预训练/SFT 各阶段的数据源与 token 数”表。读表三问：
- 各类数据的比例：图文对 vs 纯文本 vs 多图/视频的 token 占比——比例即设计哲学（Qwen 系重 agent/OCR 语料的占比逐年上升，这就是它的能力重心变迁史）；
- 阶段划分与冻结策略的对应：哪类数据配哪个阶段（caption 配对齐阶段、指令配 SFT、agent 轨迹配后训练——3.2 两阶段框架的扩展）；
- 合成与再标注的声明：哪些数据是模型生成/重标注的（ShareGPT4V 式”强模型重注”已成行业标配——5.2 §2 的工艺在头部模型的落地）。
3. 开源数据集实操盘点（选数据先看这张单）
| 数据集 | 类型 | 用途 |
|---|---|---|
| LLaVA-Instruct 665K | 通用指令 | SFT 起步标配（3.2 复现用） |
| ShareGPT4V | 详情 caption | 阶段一升级（“只换 caption 全基准涨”的出处） |
| Cambrian-1 数据包 | 策展多源 | 数据配比研究（5.2 的纲领配套） |
| ALLaVA / Cauldron | 混合指令 | 通用 SFT 的替代选项 |
| ChartQA/DocVQA/GeoQA | 可验证垂直数据 | RLVR/领域评测（5.1 配方） |
| WikiArt/ArtBench + 你的蒸馏 | 艺术领域 | 你的 8.5/8.6 领地 |
选取原则（5.2 §4 的落地）：固定模型与协议，一次只换一个数据变量；每引入一个新数据集先跑”数据体检”（7.5 §2 的质检 + 3.7 的污染扫描）。
4. 领域数据的”配方迁移”练习（你的方向）
把 LLaVA 配方迁移到艺术领域的具体设计（8.5 W3–6 的数据节细化）：
- 对齐阶段数据：WikiArt 图 + 强模型详情 caption（画家/流派/构图/色彩的形式层描述——8.1 词汇表当 prompt 素材）；
- SFT 数据四类对应：对话（看画多轮问答）/ 详细描述（单画深度分析）/ 复杂推理（“从笔触推流派”的 CoT）/ VQA（流派分类题——可验证）；
- 配比假设：通用数据与领域数据 1:1 起步（防遗忘，2.5 §5），领域内四类按 2:2:1:1——这个配比就是你的第一个消融对象。
5. 自测题
- 665K 的四类构成是什么？为什么比总量重要？（对话/详注/复杂推理/VQA——构成定义任务分布即能力形状）
- “学术任务数据”的合成原料是什么？（caption + 检测框 + GPT-4——从旧标注生成新指令）
- 读报告数据表的三问？（比例/阶段对应/合成声明）
- ShareGPT4V 的核心发现一句话？（只换详情 caption，全基准普涨——数据质量红利）
- 领域迁移时为什么要 1:1 混通用数据？（防灾难性遗忘——2.5 的结论在配比上的落地）
- 新数据集入库前的两道检查？（7.5 质检 + 3.7 污染扫描）
6. 动手作业
- 下载 LLaVA-Instruct 665K，统计四类构成并画饼图——验证本章 §1 的表；
- 抽 50 条人评质量（格式/正确性/多样性），写 200 字”数据体检报告”；
- 按 §4 给你的艺术领域写出”数据配方 v0”（四类各多少条、来源、合成 prompt 模板）——8.5 实验的直接输入；
- 挑战：读 LLaVA-OneVision 报告的数据章节，做一页”配比对照表”（它 vs 665K 的哲学差异）。
7. 延伸资源
- LLaVA-1.5 / LLaVA-OneVision 报告数据章节——配方本体
- ShareGPT4V / Cambrian-1 论文（5.2 已列，此处读数据构成细节）
- HuggingFace 上的 LLaVA-Instruct 数据卡——字段说明与分区