8.3 风格迁移演化史：Gatys → AdaIN → 扩散时代

本章目标：用”风格的可计算定义”这根线，串起 2015→2026 的三代技术——并看清每一代到底捕捉了”风格”的哪一层（8.1 三层框架的照妖镜）。学完标准：能给三代方法定位与互相批判，能跑通任一时代的代表方法。

1. 先问：什么是”风格”的可计算定义

8.1 的三层框架在此处变成裁判尺：形式层（笔触/肌理/色彩分布）、内容层（画了什么）、语境层（谁画的/哪个流派/为什么这样画）。三代风格迁移技术的分歧，本质是”把风格简化成了形式层的哪个子集”。

2. 第一代：优化时代（Gatys et al., 2015）——风格 = 特征相关性

核心思想：用预训练 VGG 的特征表示两样东西——内容（深层特征图本身）与风格（Gram 矩阵：特征通道两两之间的相关统计 $\sum_{hw} F_{i}F_{j}$）。合成图 = 最小化”内容特征相似 + 风格 Gram 相似”：

$L = \alpha\,\|F(c) - F(\hat{x})\|^2 + \beta \sum_l \|G_l(\hat{x}) - G_l(s)\|^2$

洞察历史级：风格第一次被定义为”特征统计的相关结构”而非像素——它捕捉的恰好是笔触/肌理这类形式层属性。缺陷：对每张图做数百步迭代优化（分钟级）；Gram 只见纹理不见构图与语义；“风格”被窄化为”笔触滤镜”（梵高的涡旋会出现在任何内容上，但梵高式的造型夸张与构图选择完全丢失）。美术学批注：它捕捉了形式层的肌理子集，内容层被强行保护、语境层为零。

3. 第二代：前馈时代（2016–2020）——风格 = 统计矩

• Per-image net → 通用前馈（Johnson 2016）：训练一个网络”一次前向完成 Gatys 的优化”——快三个量级，代价是每个风格一个模型；
• AdaIN（2017，分水岭）：把内容特征在每个通道上做均值方差归一化，再用风格特征的均值方差重新调制——风格 = 特征统计矩，一次前向任意风格；
• 后续变体（WCT、风格注意力、风格-内容解耦）都在更精细地统计化”风格”。

美术学批注：统计矩比 Gram 更全（色彩分布+对比度性格），但依然只在形式层打转；且实测中”风格迁移”常退化为”色调迁移+纹理贴附”——构图、笔势、造型语言这些更高级的风格属性始终缺席。这个”缺席”就是留给你的题（A4/B 线）。

4. 第三代：生成模型时代（2022–）——风格 = 可微调的分布

扩散模型把”风格”从”变换规则”变成了”生成分布的属性”，四条武器（4.6 已实操）：

1. 文本 prompt：最弱——词汇级的风格暗示（“in the style of X”），细粒度画种常常失灵；
2. 风格 LoRA：最强——几十张图把分布微调过去，笔触+色彩+造型全谱系复现（4.6 的量化验收）；
3. IP-Adapter / 反演系（InST 类）：单参考图注入风格，免训练但保真度低一档；
4. 组合控制：ControlNet 管构图（内容层）、LoRA 管风格（形式层）、prompt 管题材——第一次实现三层分离控制，这是前三代做不到的。

美术学批注：LoRA 时代第一次让”造型语言/构图偏好”（不只是纹理）进入风格的可迁移集合——因为模型学的是分布而不是变换。新问题也随之诞生：风格复现度的量化评价（→8.7）、在世艺术家权利（8.1 §9）、以及”AI 复现的风格里丢失了什么”（意图与语境层依然为零——语境层需要知识与推理，是 VLM 的题，不是生成模型的题）。

5. 三代对照表（背下来）

	Gatys	AdaIN 系	扩散/LoRA
风格的可计算定义	Gram 相关	统计矩	生成分布
捕捉到的层	肌理	肌理+色调	肌理+色调+造型/构图
代价	分钟级优化	快但浅	需训练/大模型
语境层	0	0	0（仍是零！）

6. 自测题

1. Gram 矩阵捕捉什么、丢失什么？（通道相关=纹理统计；空间布局与语义全丢）
2. AdaIN 的”调制”在做什么？为什么比 Gram 快还全？（用风格特征的均值方差重调内容特征；一次前向+统计矩更全面）
3. 为什么说扩散时代”第一次实现三层分离控制”？（ControlNet=内容层、LoRA=形式层、prompt=题材——正交可叠加）
4. 三代共同的零是什么？为什么？（语境层——它不是像素分布的属性，是知识与意图的属性）
5. Gatys 的历史地位为什么不可替代？（“风格=特征统计”的定义性洞察，后面所有代际都在它的概念地基上换实现）

7. 动手作业

1. 用 torch.hub 或 diffusers 跑一次 AdaIN（任意实现），与一次风格 LoRA 输出并排，用 8.1 三层语言写对比笔记（各捕捉到哪层）；
2. 用 §5 表格给”莫奈 vs 莫奈 LoRA”各打三层分（0–2），和同学互评——训练你的风格分析之眼；
3. 挑战：读 InST 或任意”单图风格反演”论文 §1，回答”反演和 LoRA 在数据需求/保真度上的取舍”。

8. 延伸资源

• Gatys 论文（A Neural Algorithm of Artistic Style）+ AdaIN 论文——两代定义之作
• 《StyTr2》等综述/后续——注意力时代的过渡（选读）
• 4.6 的 art-control-suite repo——第三代实操载体