3.7 多模态评测体系与陷阱

本章目标：看懂 VLM 的成绩单从哪来、哪些分数不能信，以及怎么为你自己的项目搭一套干净评测。这一章直接服务于 A1（看画基准）和所有 8.9 选题的验收环节。学完标准：能读懂任何 VLM 榜单的评测协议，能说出五种主要陷阱及对策。

1. 基准地图（按能力分家）

能力域	代表基准	考什么
综合知识推理	MMMU、MMBench、MME	大学级图文题、通用理解
视觉数学/图表	MathVista、ChartQA	图上读数、几何推理
文档/OCR	DocVQA、TextVQA	文字识别与版面理解
幻觉专项	POPE、HallusionBench、AMBER	是否编造图中不存在的对象/关系
指框 grounding	RefCOCO 系	按描述给坐标——可精确判分（5.1 喜欢的奖励源）
视频	Video-MME	长视频时序理解
Agent/GUI	ScreenSpot、OSWorld	截图定位、真实任务完成
开放问答/生成	MM-Vet、WildVision	无固定答案，靠裁判模型

2. 评测协议的两大家法

1. 封闭式判分：选择题（对/错）或短答案精确匹配——客观、便宜、可复现；风险：模型靠选项偏置答题（都选 A）、格式猜答案；
2. LLM-as-judge：开放回答交给 GPT 级裁判模型按 rubric 打分——贴近真实使用；风险：裁判偏爱长回答/自家风格、位置偏见、可复现性差（换裁判模型分数漂移）。

工程正确姿势：两类并用——封闭式出主表数字，judge 法出开放能力的定性证据，且 judge 校准（抽 10% 人工对齐，报告一致率）。

3. 五大陷阱与对策（本章核心）

1. 数据污染（contamination）：基准题混进训练数据——榜单分数是”背题”不是能力。检测：n-gram 重叠扫描、字符串探针、扰动测试（改数字/换图重测，掉分暴跌=背题实锤）。对策：报告污染扫描结果；自己造数据时严格隔离留出集；
2. 选择题应试技巧：选项长度/位置偏置——模型不看图也能蒙 40%+。对策：必须跑”盲测基线”（去掉视觉输入的准确率），真实能力 = 有图减无图的增量（5.1 的红灯检查通用化）；
3. 裁判偏见：LLM-as-judge 的风格/长度/身份偏好。对策：rubric 具体化（逐条打分非总分）、双裁判交叉、位置互换重判；
4. 协议敏感性：分辨率、prompt 模板、few-shot 数量一变分数就动——很多”超越 SOTA”只是协议红利。对策：评测协议在实验开始前冻结并写死（版本、分辨率、模板、seed 全记录）；
5. 饱和与区分度：头部模型把老基准刷到 90%+，测不出差异。对策：用最新/更难的基准（MathVista 类），或自建领域留出集——这恰恰是 8.9/A1 的战略意义：别人的榜单迟早饱和，自己的干净基准是长期资产。

4. 给自己项目搭评测的清单（A1 蓝图）

1. 分层：按 8.1 三层（形式/内容/语境）或你的研究维度设计题集，每层 ≥100 题；
2. 协议冻结：题型（选择/短答/judge）、prompt 模板、判分规则、分辨率——先写文档后跑实验；
3. 三件套基线：随机基线（选择题主）+ 盲测基线（无图）+ 一个强模型参照（划能力上限）；
4. 人工校准子集：50–100 题人工标注，校验自动判分一致率；
5. 发布 datasheet：数据来源、标注协议、已知局限——学术规范，也是导师眼中加分的科研素养。

5. 自测题

1. 封闭式与 judge 法各自的死穴？（应试技巧与选项偏置；裁判偏见与可复现性差）
2. 扰动测试怎么暴露背题？（改数字换图后分数暴跌——模型记住的是答案不是方法）
3. 为什么”有图减无图的增量”比绝对准确率诚实？（增量才是视觉能力的度量，绝对值含语言先验）
4. 协议冻结防什么？（事后调协议凑分数——自己骗自己的最常见形式）
5. 自建基准的战略价值与成本？（长期资产+领域话语权 vs 标注与校准成本——所以选 A1 当第一题）
6. datasheet 是什么、写给谁看？（数据集的来源/协议/局限说明书；给使用者和审稿人）

6. 动手作业

1. 跑 lmms-eval（开源评测框架）给一个 2B VLM 出 MMMU 子集 + POPE 成绩单，阅读它的评测配置文件——工业协议长什么样；
2. 做一次盲测实验：同模型同题集，遮图 vs 正常，算”视觉增量”——亲手体会陷阱 2；
3. 给你的 A1 写”协议冻结文档”（§4 第 2 条）+ 30 条样例题；
4. 挑战：对某个”刷榜结果”复刻其协议再做扰动测试，写 300 字判断（这是 C 类分析文的种子）。

7. 延伸资源

• lmms-eval（LMMs-Eval 框架）——开源评测的标准工具链
• MMMU / POPE / HallusionBench 原论文——三类基准的设计动机
• 《Data contamination survey》类综述——污染检测方法集