卷8 · 视觉与美术学交叉
8.7 艺术数据集与基准构建:从 WikiArt 到自建
展开本章目录与同卷章节
1. 现有资源盘点(先看别人修好的路)2. 数据集的三种形态(决定你的工作量与论文形态)3. 标注规范怎么写(v0→v1 的迭代法)4. 质量控制的三把尺5. 版权与伦理(学术研究也要干净)6. 自建项目时间线(A1/D1 通用)7. 自测题8. 动手作业(A1/D1 的第一步)9. 延伸资源同卷章节8.1 美术学基础:给工程师的图像与美术学最小核心8.2 计算美学:让机器给"美"打分8.3 风格迁移演化史:Gatys → AdaIN → 扩散时代8.4 面向艺术的生成:从控制工具到创作系统8.5 艺术理解:让 VLM 真正"看懂"一幅画8.6 AIGC 时代的艺术评价与人类偏好对齐8.7 艺术数据集与基准构建:从 WikiArt 到自建8.8 文化遗产数字化与数字人文:AI 进博物馆8.9 交叉选题库:结合导师方向的 20 个可执行题目本章目标:给你 A1(看画基准)/D1(中国画数据集)的完整施工手册——现有资源盘点、标注规范怎么写、质量控制怎么做、版权怎么处理。学完标准:能独立启动一个”30 条样例 → 300 条试点 → 3000 条成集”的数据集项目。
1. 现有资源盘点(先看别人修好的路)
| 数据集 | 规模/标签 | 特点与坑 |
|---|---|---|
| WikiArt | 25 万件/流派·画家· genre 标签 | 最大最常用;标签噪声大(流派边界粗糙)、中国画几乎缺位、高清率参差 |
| ArtBench | 6 万张/10 流派(含浮世绘) | 类平衡、抓取干净——做分类基线的首选 |
| DeviantArt/ArtStation 类 | 现代数字插画/二次元 | 风格多样但版权最敏感,研究慎用商用 |
| 博物馆开放接口(Met、Rijksmuseum、SMK 等) | 馆藏级高清+权威元数据 | 版权最干净、元数据最专业;规模有限、西方中心 |
| 中国画专项 | 零散(各馆数字化、学术项目) | 系统性空白——D1 的机会所在 |
盘点结论:通用分类有得用,“理解与评测”层的数据几乎空白——没有按三层框架标注的 VLM 评测集、没有中国画系统性数据、没有”风格复现度”的量化基准(8.3 作业的延长线)。这就是 A1/D1 的空间。
2. 数据集的三种形态(决定你的工作量与论文形态)
- 分类集(ArtBench 型):标签+图,标注成本低——适合练手;
- 评测基准(A1 型):题干+选项/参考答案+判分协议——每道题都是一次小标注工程,成本高但学术杠杆最大;
- 资源集(D1 型):图+多维标注+规范文档——长期资产,师生共建的最佳载体。
3. 标注规范怎么写(v0→v1 的迭代法)
先写规范再标图(顺序错了返工十倍)。规范必含五节:
- 分类学:三层框架落地为字段——形式(流派/媒介/色彩性格/构图类型)、内容(题材/主体/叙事要素)、语境(画家/年代/流派归属/图像学符号);每个字段给封闭枚举+图例(“写意”与”兼工带写”的分界,文字说不清就放两张对比图);
- 判定规则:边界 case 的优先级(“画家标注冲突时以馆藏元数据为准”);不确定性选项(允许”存疑”,禁止硬选——硬选出来的标签是毒数据);
- 样例集:30 条”金标准”样例(含正例/边界例/反例),标注员先通过样例测试才能上岗;
- 流程:标注→抽检→仲裁三级;每批次 10% 双人背靠背标注算一致性;
- 版本:v0 试点(300 条)→ 一致性分析 → 修规范 → v1 放量。
4. 质量控制的三把尺
- 标注者间一致性(IAA):分类字段用 Cohen’s kappa(≥0.6 可接受,≥0.8 优秀);低一致性的字段不是标注员的错,是你分类学的错——回去切分枚举或加图例;
- 锚点抽查:混入 5% 金标准样例,实时监控每个标注员的准确率漂移;
- 模型交叉核查:用 VLM/CLIP 预标注 + 人工复核(人机协同提效),但模型只能提议不能终审——否则模型的偏见会写进你的数据集(3.7 的污染思想在供给侧)。
5. 版权与伦理(学术研究也要干净)
- 公有领域(作者逝世 70 年+,大部分古典绘画)作品的摄影复制品:馆藏机构对”摄影化”可能主张权利——用博物馆开放接口的条款(多数 CC0/CC-BY)最稳;
- 在世艺术家:训练用途避开,评测/引用需授权或合理使用论证——论文里写清数据来源与用途限定(datasheet 必填项);
- 人物肖像的隐私、宗教/民族题材的文化敏感性——D1 尤其注意。
6. 自建项目时间线(A1/D1 通用)
第1-2周 规范v0 + 30条金标准样例(和导师过一次)
第3-4周 300条试点 → kappa分析 → 规范v1
第5-8周 3000条放量(双人背靠背10%)→ 清洗 → datasheet v1
第9-12周 基线实验(2-3个VLM跑分)→ 数据集论文或并入A1
成本真相:120 小时标注人力 ≈ 导师组里 1–2 个本科生同学合力一学期——这就是为什么要早进组(数据工程是组内人力能办的事,独自一人会卡死在放量期)。
7. 自测题
- 三种数据集形态的成本/杠杆排序?(分类<资源<评测基准;杠杆反序——评测基准最贵也最值)
- “低一致性字段回去改分类学”为什么是对的?(kappa 低多数源于枚举边界含糊,不是标注员水平问题)
- 模型预标注为什么只能提议不能终审?(模型偏见会系统性写进数据——供给侧污染)
- “存疑”选项为什么必须存在?(禁止硬选——一致性指标被虚假抬高,毒数据入场)
- 为什么用博物馆开放接口优于网页抓取?(条款干净+元数据权威——版权与质量双保险)
- datasheet 必填哪三类信息?(来源与授权/标注协议与一致性/已知局限)
8. 动手作业(A1/D1 的第一步)
- 下载 WikiArt 的元数据(标签分布统计脚本),写 300 字”坑点报告”(流派标签噪声实例 3 个);
- 给 A1 写三层标注规范 v0(每层 5 个字段+枚举+30 条样例里的 10 条);
- 算一次 kappa:和同学各自标同 40 张画的”色彩性格”字段,对比一致性——亲手体验”分类学错了别怪人”;
- 挑战:给 Met 开放接口写个抓取脚本,拉 50 张高清中国/日本馆藏——感受”干净数据”的手感。
9. 延伸资源
- ArtBench / WikiArt 原始论文——现有基准的设计得失
- Datasheets for Datasets(Gebru et al.)——数据集文档的标准格式
- Met/Rijksmuseum Open Access API 文档——干净数据的源头
