8.6 AIGC 时代的艺术评价与人类偏好对齐

本章目标：回答”生成模型变强之后，谁来定义好看”——自动指标的失效史、偏好奖励模型的技术栈、扩散模型的 RLHF/DPO 对齐，以及奖励被钻空子后的”AI 工业感”。这是 8.2（美学评分）的续篇与 E1 选题的完整图纸。学完标准：能画出文生图对齐的全链路，能手做一个”奖励钻空子”实验。

1. 评测的失效史：为什么需要学习型指标

• FID/IS 时代：比较生成分布与真实分布的统计距离——和人类判断相关性弱（构图平庸但统计上”像真图”就能拿高分）；
• CLIPScore 时代：图文一致性有了代理指标——但它测”像不像 prompt”，不测”好不好看”；
• 人类偏好模型时代（2023– ）：直接学”人觉得哪个好”。代表与数据：ImageReward（人类标注的成对偏好）、PickScore（Pick-a-Pic 百万级真实用户偏好）、HPSv2（专家偏好，覆盖绘画/照片/概念艺术多域）。训练配方就是 8.2 §3 阶段三那套：CLIP/VLM 底座 + Bradley-Terry 成对排序损失——8.2 的美学评分与 2.7 的 DPO 在此会师。

链条全景：人类偏好数据 → 奖励模型 → 三个用途（生成模型选型评测 / 推理时最佳 n 选一 / 训练信号驱动 RLHF/DPO）——第三条就是本节主题。

2. 扩散模型的偏好对齐：三代方法

1. DDPO（2023）：把扩散采样看成多步 RL 过程（每步去噪=动作），奖励模型打分，PPO 更新——第一代证明”可行但贵”；
2. AlignProp / DPOK：反向传播直接穿过采样链（可微奖励微调）/ KL 正则版 RL——工程简化；
3. Diffusion-DPO（2024– ）：2.7 的 DPO 直接平移——成对图像偏好（同 prompt 两图）+ 文本侧对称公式，绕开奖励模型在线打分，稳定性最好，SD3/FLUX 时代的工业主流。

与前文的闭环：你已在文本侧学过 DPO（2.7）、在美学侧学过偏好建模（8.2）——扩散侧只是把”回答偏好”换成”图像偏好”，数学骨架完全同构。

3. 奖励钻空子：AI 工业感的动力学解释

8.2 §5 遗留的问题在此得到机理解释：“技术好但艺术差”（平均脸、过度饱和、塑料质感）不是偶然，是对奖励模型的过优化：

• 美学奖励学到的人类偏好有系统偏差（高饱和度、高对比、中心构图在众包数据里更容易赢）；
• 生成模型沿着奖励梯度走 → 把偏差放大到极端 → 分布坍向”奖励模型审美”，多样性丧失（GAN 模式坍塌的 RL 版）；
• 文本对齐奖励同理：CLIPScore 优化过头 → 出现对抗性图案（图里藏文字骗 CLIP）。

这就是为什么 E1 选题（中式审美奖励模型）有价值：现有奖励模型的偏差是西式众包偏好——换一批人做标注，就是在给生成模型换审美坐标系。同时必须配”多样性保持”约束（KL 到参考分布——2.7 的 KL 缰绳在扩散侧同样救命）。

4. 评价体系的分解（比”一个总分”正确的做法）

一个成熟的生成评测应拆成正交的三轴（写论文时这决定了你的实验矩阵）：

1. 指令遵循：prompt 里的元素/属性/空间关系是否实现（VQAScore/T2I-CompBench 类）；
2. 美学质量：8.2 的 NIMA/美学奖励模型；
3. 人类偏好：HPS/PickScore + 小规模真人盲评（金标准）。

关键认知：三轴会冲突（过度优化美学 → 遵循度下降）——帕累托前沿的形状本身就是研究内容（“加多少美学奖励，牺牲多少遵循度”——E1/E2 的实验设计核心）。

5. 学生实验配方（一个周末）

1. 奖励钻空子演示（最快见效）：拿公开美学奖励模型当目标，对 SD1.5 跑 500 步 DDPO/AlignProp（开源实现现成），对比优化前后的图与奖励分——亲眼看到分数涨、图变塑料；
2. 奖励模型小训：Pick-a-Pic 子集（10 万对）+ open_clip ViT-B/16 + BT 损失，训 PickScore-mini（8.2 作业的升级版），测与人类排序的 SRCC；
3. 跨文化探针：用你的 mini 模型给”水墨画 vs 油画”同构图打分，量化偏差（E1 的动机数据）；
4. 产出：reward-hacking-lab repo——三个实验+一张”奖励分 vs 多样性”的散点图。

6. 自测题

1. FID 为什么和人类判断脱节？（统计距离不含构图/语义/美学——“统计像”不等于”好看”）
2. PickScore 的数据从哪来？为什么比人工标注好？（真实用户成对选择；规模+真实分布场景）
3. Diffusion-DPO 相比 DDPO 赢在哪？（绕开在线奖励打分，纯监督式训练——2.7 的 offline/稳定逻辑）
4. “AI 工业感”的动力学成因链？（偏好偏差→梯度放大→分布坍缩——RL 版模式坍塌）
5. 三轴评测为什么必须正交拆解？冲突怎么用？（单总分掩盖权衡；帕累托前沿形状即研究内容）
6. E1 换标注人群的真正意义？（重定义奖励坐标系的偏差方向——生成模型审美的”立法权”）

7. 动手作业

1. 完成第 5 节三个实验，重点把”奖励分↑ vs 图变差”的对照图做好（这是面试与答辩时的最强一图流）；
2. 用 HPSv2 给 SD1.5/FLUX/你 4.6 的风格 LoRA 各打 20 张图的分，观察”风格化是否被偏好模型惩罚”——B 线选题的数据点；
3. 精读 Diffusion-DPO 论文（6.1 三遍法），画它与 2.7 文本 DPO 的公式对照表；
4. 挑战：设计”多样性保持”的一个具体约束（KL 系数/批次内多样性正则），在实验 1 上验证它能否缓解塑料化——E1 的方法章雏形。

8. 延伸资源

• ImageReward / PickScore / HPSv2 论文——偏好模型三连（8.2 已列，此处精读训练细节）
• DDPO → Diffusion-DPO 论文链——对齐方法演化
• Pick-a-Pic / HPD 数据集页——偏好数据长什么样