附录 · 论文精读包（10 篇核心论文预读笔记）

定位与诚实声明：这是按 6.1 模板写的预读笔记（第二遍通读水平的产物），作用是给你”读前地图”——不能替代你的第三遍精读，且细节以原文为准（AI 预读可能有偏差，发现对不上就回原文）。建议用法：读到对应章 → 先看这里的地图 → 带着地图读原文 → 补自己的第三遍笔记。 顺序按学习路径排列，与正文章节互相链接。

1. Attention Is All You Need (2017) · NeurIPS

• 出处：arXiv 1706.03762｜对应：1.2/1.3｜arXiv 页见资源索引
• 问题与主张：序列转换（翻译）依赖 RNN 的串行计算；主张完全用注意力替代循环——并行训练 + 一步直达的长程依赖。
• 方法一页：Encoder-Decoder 各 N=6 层；多头自注意力（h=8, d_k=64）+ 位置正弦编码 + FFN；decoder causal mask；bpe 3.7 万词表。
• 关键证据：WMT14 英德 28.4 BLEU，超一切先前模型且训练成本只要其零头（3.5 天 × 8 P100）。
• 可复现性：tensor2tensor 开源；现代复现用 nanoGPT 更简单。
• 与你的课题：一切的原点；面试必考多头动机与 mask。
• 一句话：把”序列建模”改写成”集合上的可微查字典”，此后一切架构争论都在它的延长线上。

2. An Image is Worth 16x16 Words — ViT (2020) · ICLR

• 出处：arXiv 2010.11929｜对应：1.4
• 问题与主张：CNN 的视觉先验是否必需？主张：纯 Transformer + patch 化，在足够数据下反超。
• 方法一页：16×16 patch → 线性投影（等价 k16/s16 卷积）+ CLS token + 可学习位置编码 → 标准 encoder；微调接线性头。
• 关键证据： scaling 曲线——JFT-300M 预训练后 ImageNet 88%+；小数据输 ResNet（诚实的负结果也在论文里）。
• 可复现性：timm 一行加载；论文消融清晰可重算。
• 与你的课题：1.4 作业的对照对象；“数据换先验”曲线是你理解一切视觉基础模型的钥匙。
• 一句话：图像成为 token 的出生证明。

3. Learning Transferable Visual Models — CLIP (2021)

• 出处：arXiv 2103.00020｜对应：1.5/1.6/8.2
• 问题与主张：视觉模型困在固定类别；主张用 4 亿网络图文对做对比学习，获得可迁移的零样本能力。
• 方法一页：双塔（ViT + 文本 Transformer）→ L2 归一化 → 对称 InfoNCE（batch 32768、可学习温度 0.07）；zero-shot = 类名 prompt 检索。
• 关键证据：zero-shot ImageNet 76.2%（prompt 集成后），追平有监督 ResNet-50；表征迁移全面强于 ImageNet 监督特征。
• 可复现性：open_clip 全系复现；WIT 数据未开源（复现用 LAION）。
• 与你的课题：你的第一个项目（1.6）；美学评分（8.2）、数据过滤、奖励模型全站在它肩上。
• 一句话：自然语言监督把视觉从”分类器”解放成”对齐空间”。

4. MAE (2021)

• 出处：arXiv 2111.06377｜对应：1.5
• 问题与主张：BERT 式掩码预训练在视觉为什么之前不行？主张：高遮罩率（75%）+ 非对称设计。
• 方法一页：编码器只见可见 patch（省 3 倍算力）→ 轻量解码器带 mask token 重建像素 → MSE 只在遮罩位。
• 关键证据：75% 最优（遮少了不用动脑）；ViT-H 迁移全面涨；视觉与语言的预训练效率差距被抹平。
• 可复现性：官方代码极简；一天单卡复现小规模。
• 与你的课题：理解”遮罩重建”这条线——它通向 3.4 的离散 tokenizer 与 4.x 生成思想。
• 一句话：视觉的完形填空，简单到让人怀疑的里程碑。

5. LLaVA-1.5 (2023)

• 出处：arXiv 2310.03744｜对应：3.2（本章就是它的精读扩充版）
• 问题与主张：多模态指令跟随需要复杂架构吗？主张：CLIP 视觉塔 + 两层 MLP + 好数据就够。
• 方法一页：两阶段（caption 对齐 projector → 学术任务数据全参微调）；MLP 投影、336px、665K 指令数据。
• 关键证据：全面超越 InstructBLIP（Q-Former 系）——同规模下”简单架构+好数据”赢。
• 可复现性：官方 repo 开源；你的迷你复现（3.2 作业）就是它的缩放版。
• 与你的课题：你大三下的主线项目；它的 ablation 表是”数据>架构”的第一手证据。
• 一句话：VLM 的”简单基线宣言”——复杂度应该花在数据上。

6. Qwen2-VL (2024)

• 出处：arXiv 2409.12191｜对应：3.5
• 问题与主张：固定分辨率浪费预算且丢细节；主张 NaViT 式动态分辨率 + M-RoPE。
• 方法一页：原生比例切 patch（token 数随内容变）、时间/高/宽三维解耦的位置编码、agent/grounding 后训练强化。
• 关键证据：DocVQA/数学/grounding 多域 SOTA；小时级视频理解。
• 可复现性：权重开放（2B–72B）；LLaMA-Factory 全支持——学生甜点区首选底座。
• 与你的课题：8.9 选题的默认底座；它的报告是”配置清单读表法”（3.5 §2）的标准练习材料。
• 一句话：动态分辨率+三维位置编码——当代 VLM 的公共底盘由它定型。

7. LoRA (2021)

• 出处：arXiv 2106.09685｜对应：2.6
• 问题与主张：微调大模型的适配器们（Adapter/Prefix）有推理开销；主张：权重变化低秩，旁路 BA 即可，部署零开销。
• 方法一页：ΔW=BA（r≪d），A 高斯 B 置零，缩放 α/r，只训旁路；可合回 W。
• 关键证据：GPT-3 175B 上 r=4 即匹配全参微调；参数量万分之一。
• 可复现性：peft 标准化；你 2.6 的手写实现就是对它的复现。
• 与你的课题：你未来两年用得最多的技术；“低秩假设”直接连 0.1 的 SVD。
• 一句话：低秩假设的工程胜利——微小参数预算撬动全部适配能力。

8. DPO (2023)

• 出处：arXiv 2305.18290｜对应：2.7
• 问题与主张：RLHF 的 PPO 循环复杂且不稳；主张：偏好目标有闭式解，奖励模型可以整个消掉。
• 方法一页：最优策略下 r = β·log(π_θ/π_ref) 代回 Bradley-Terry → 直接对成对偏好做监督式 loss。
• 关键证据：与 PPO 版 RLHF 在偏好胜率上相当，实现与调参成本低一个量级。
• 可复现性：TRL DPOTrainer 一小时上手；2.7 作业做过数值案例。
• 与你的课题：8.6 的扩散 DPO 是它的图像版——一套思想吃两个域。
• 一句话：把”强化学习问题”化简成”监督学习问题”的漂亮代数。

9. DDPM (2020)

• 出处：arXiv 2006.11239｜对应：4.2
• 问题与主张：扩散模型此前质量不佳；主张：预测噪声的简化目标 + 大模型 + 精调 schedule，首次超越 GAN 的 FID。
• 方法一页：前向闭式加噪 → 网络 ε_θ 预测噪声（ELBO 简化）→ ancestral 采样 1000 步；线性 β、EMA、自注意力于低分辨率层。
• 关键证据：CIFAR-10 FID 3.17（当时最优）；消融证明”预测 ε 的简化 loss”与完整 ELBO 质量相当且稳定。
• 可复现性：你 4.2 的 MNIST 迷你版 + Annotated Diffusion——单卡周末级。
• 与你的课题：一切生成模型的地基；“去噪=学 score”的直觉在 8.6（对齐副作用）还要回来。
• 一句话：把”生成”重新定义为”迭代的去噪”——稳定、多样、可规模化。

10. DeepSeek-R1 (2025)

• 出处：arXiv 2501.12948｜对应：2.7/5.1
• 问题与主张：推理能力能否用 RL 直接”练”出来而非蒸馏？主张：GRPO + 可验证奖励（RLVR），纯 RL 也能长出长链推理（R1-Zero），加冷启动数据得到更可读的 R1。
• 方法一页：GRPO 组采样（去 critic）+ 规则奖励（答案正确性/格式）+ 多阶段（冷启动 SFT → 推理 RL → 拒绝采样再 SFT → 全场景 RL）；蒸馏版证明小模型吃推理数据成长极快。
• 关键证据：R1-Zero 的 aha moment（回答长度自发增长）；AIME 2024 上蒸馏 7B 追平 GPT-4o 级。
• 可复现性：EasyR1/verl/TRL 复现众多；你的 5.1 学生配方（3B+LoRA+GSM8K）就是它的等比缩放。
• 与你的课题：5.1 全章的源头；多模态验证器设计是你最可能的切入题。
• 一句话：证明”推理是练出来的不是蒸出来的”——把 2025 年的研究潮头对准了可验证奖励。