《从零到多模态大模型》学习笔记

读者画像：软件工程大三、代码有基础、DL/CV 零基础、目标多模态大模型方向科研、导师做图像×美术学交叉。 配套《多模态学习路线.md》：路线图是时间表，本笔记是教材。周级执行计划见卷9。

全书学习路径一张图

flowchart LR
  V0["卷0 基础篇<br>数学·PyTorch·反向传播<br>训练工程·远程开发"] --> V1["卷1 现代CV<br>CNN→注意力→Transformer<br>ViT·自监督·CLIP·SAM"]
  V1 --> V2["卷2 LLM内功<br>BPE·nanoGPT·预训练<br>SFT·LoRA·DPO/GRPO·vLLM"]
  V2 --> V3["卷3 多模态理解<br>三条路线·LLaVA复现<br>connector·tokenizer·评测"]
  V3 --> V4["卷4 生成模型<br>DDPM→SD→DiT/Flow<br>可控生成·视频·统一模型"]
  V4 --> V5["卷5 前沿专题<br>推理RL·数据中心·具身<br>世界模型·3D·Agent·医学"]
  V3 -. "并行读" .-> V8["卷8 美术学交叉 ★<br>美术基础·计算美学·风格史<br>看画VLM·数据集·选题库"]
  V5 --> V6["卷6 方法论<br>读论文·复现·选题<br>写作·开源·伦理"]
  V6 --> V9["卷9 生涯执行<br>周计划·四条路<br>作品集·面试"]
  V0 -. "全程伴随" .-> V7["卷7 工程手册<br>显存/OOM·调试案例<br>分布式·部署·数据管线·AI协作"]

怎么用这套笔记

1. 学练读结合：按执行计划推进，每章末尾有「自测题」和「动手作业」，不写作业等于没学。
2. 保持生长：全书 72 章已完结，但它是活文档——发现某章需要加深/有新论文出现/想增补新主题，随时说一声即可定向更新；7.2 调试案例集预留给你的真实踩坑。
3. 实践回写：实际训练踩的坑（OOM、NaN、数据对齐错误），让 AI 整理进卷7「工程实战手册」——那是未来最值钱的部分。
4. 卷8 随时可读：美术学交叉卷不依赖前置卷，可与卷0 并行读；8.1 第 10 节是和导师谈话的问题清单。
5. 速查与图解：附录·术语速查表 支持面试/复习前快速过牌；附录·十卷思维导图 开卷/合卷各看一眼；多个核心章内含 Mermaid 图解与手算案例（0.1/1.2/2.2/2.3/2.6/2.7/3.1/3.2/3.3/4.2/4.4/4.5/5.1/7.1/9.2）。
6. 主动自测三件套：交互测验页（20 题点击判分）、Anki 卡组（84 张，间隔重复）、各章自测题——读一章测一章。另有进度追踪 + 专注计时器（本机保存）。
7. 导出 PDF：访问 全书打印版 后 Ctrl+P → “另存为 PDF”——全书合并成一个可批注的 PDF（平板友好）。
8. 科研衔接件：论文精读包（10 篇核心论文的预读地图）、延伸资源二维码索引、scripts/ 目录三个实用工具（数据体检/美术质检/算力估算）、GitHub Pages 一键部署（见仓库 README）。

全书结构（10 卷 · 70 章）

卷0 基础篇——数学与工程底座（零基础起点）

对应执行计划 W1–W6。目标：读懂后续所有章节的公式和代码。

• 0.1 ✅ 数学基础：线性代数·概率·优化（DL视角三合一）
• 0.2 ✅ Python 与 PyTorch 实战
• 0.3 ✅ 神经网络与反向传播从零实现
• 0.4 ✅ 训练工程常识：混合精度、断点续训、调试与监控
• 0.5 ✅ Git / Linux / 远程开发生存包

卷1 深度学习与CV基础

对应 W7–W12。目标：吃透现代CV最小核心，传统内容只留一层底。

• 1.1 ✅ 从 CNN 到 ResNet：卷积时代的遗产
• 1.2 ✅ 注意力机制
• 1.3 ✅ Transformer 逐层拆解：从 Block 到小 GPT
• 1.4 ✅ ViT 与视觉 Transformer 谱系：图像成为 token
• 1.5 ✅ 自监督三巨头：MAE、CLIP、DINO
• 1.6 ✅ CLIP 精读与 zero-shot 评测实操
• 1.7 ✅ SAM 与分割基础模型：提示式视觉
• 1.8 ✅ 检测/分割极简史：知道即可的一章
• 1.9 ✅ 图像形成与相机模型：几何底座

卷2 LLM 内功（最关键的桥梁）

寒假主战场 W13–W20。目标：“能手写、能微调、能部署”。

• 2.1 ✅ 语言模型前史：n-gram → RNN → 注意力
• 2.2 ✅ BPE tokenizer 原理与实现
• 2.3 ✅ GPT 架构工程版：从 TinyGPT 到 nanoGPT
• 2.4 ✅ 预训练：数据、Scaling Law 与稳定性
• 2.5 ✅ SFT 与指令微调实战
• 2.6 ✅ 参数高效微调：LoRA 与 QLoRA
• 2.7 ✅ 对齐技术：RLHF → DPO → GRPO
• 2.8 ✅ 推理优化与 vLLM
• 2.9 ✅ 架构前沿：MoE、长上下文与注意力变体
• 2.10 ✅ 小模型时代的科研机会（1B–7B 甜点区）

卷3 多模态理解（VLM）

W21–W24。目标：复现 LLaVA 式训练，读懂开源双雄。

• 3.1 ✅ 多模态总览：双塔 / 桥接 / 原生融合三条路线
• 3.2 ✅ LLaVA 范式精读与复现
• 3.3 ✅ Connector 设计空间：Flamingo / BLIP-2 / Qwen-VL
• 3.4 ✅ 视觉 tokenizer：VQ-VAE / VQGAN
• 3.5 ✅ 开源双雄精读：Qwen-VL 与 InternVL 系列
• 3.6 ✅ 文档理解与 OCR-free
• 3.7 ✅ 多模态评测体系与陷阱
• 3.8 ✅ VLM 数据案例研读：caption、合成数据、配比

卷4 生成模型

W25–W28。目标：把扩散演化线串成一条河。

• 4.1 ✅ 生成模型地图：AR / VAE / GAN / Diffusion / Flow
• 4.2 ✅ DDPM 原理与从零实现
• 4.3 ✅ 采样器与 Classifier-Free Guidance
• 4.4 ✅ Latent Diffusion 与 Stable Diffusion
• 4.5 ✅ DiT 与 Flow Matching（SD3 / FLUX 的现代化）
• 4.6 ✅ 可控生成：ControlNet / IP-Adapter / 风格 LoRA
• 4.7 ✅ 视频生成：Sora 范式与开源阵营
• 4.8 ✅ 统一模型之争：Chameleon / Transfusion / Janus
• 4.9 ✅ 前沿瞭望：扩散语言模型

卷5 前沿专题（科研选题池）

暑假起按兴趣选读。

• 5.1 ✅ 多模态推理与 RL：当前最热的研究现场
• 5.2 ✅ 数据为中心的 VLM 研究
• 5.3 ✅ 具身智能与 VLA
• 5.4 ✅ 世界模型与空间智能
• 5.5 ✅ 3D 视觉：NeRF → 3DGS → 前馈重建
• 5.6 ✅ 视觉 Agent 与 Computer Use
• 5.7 ✅ AI for Science 与医学影像
• 5.8 ✅ 高效化：蒸馏、量化、剪枝与小模型

卷6 科研方法论

• 6.1 ✅ 如何读论文：三遍法与精读模板
• 6.2 ✅ 如何复现：最小复现方法论
• 6.3 ✅ 如何选题：价值判断、文献扫描与资源匹配
• 6.4 ✅ 如何写作与投稿：从图表到 rebuttal
• 6.5 ✅ 开源贡献指南：用 PR 说话
• 6.6 ✅ 学术诚信与 AIGC 时代的科研伦理

卷7 工程实战手册（随实践持续增补）

• 7.1 ✅ 显存估算速查与 OOM 排查大全
• 7.2 ✅ 训练调试案例集：十大经典翻车与处置
• 7.3 ✅ 分布式训练入门：DDP / FSDP / DeepSpeed
• 7.4 ✅ 推理部署与成本估算
• 7.5 ✅ 数据管线工程：把数据当代码对待
• 7.6 ✅ AI 协作守则：驾驭代码 agent 而不被其驾驭

卷8 视觉 × 美术学交叉 ★对接导师方向

不依赖前置卷。目标：能与导师对话、在交叉带选题。

• 8.1 ✅ 美术学基础：三层框架·色彩·构图·光影·艺术史
• 8.2 ✅ 计算美学：美学评分与偏好奖励模型
• 8.3 ✅ 风格迁移演化史：Gatys → AdaIN → 扩散时代
• 8.4 ✅ 面向艺术的生成：从控制工具到创作系统
• 8.5 ✅ 艺术理解：让 VLM 真正”看懂”一幅画
• 8.6 ✅ AIGC 时代的艺术评价与人类偏好对齐
• 8.7 ✅ 艺术数据集与基准构建：从 WikiArt 到自建
• 8.8 ✅ 文化遗产数字化与数字人文：AI 进博物馆
• 8.9 ✅ 交叉选题库：结合导师方向的 20 个可执行题目

卷9 生涯执行手册

• 9.1 ✅ 九个月周级执行计划（含夏令营材料清单与导师联系模板）
• 9.2 ✅ 保研/考研/留学/就业四条路分析
• 9.3 ✅ 作品集打造与个人品牌：让 GitHub 替你说话
• 9.4 ✅ 实习申请与面试准备：从简历到 offer

进度 · 全书完结（v2.0，2026.10）

• 🎉 74 章正文全部完成，约 24 万字：卷0（5）+ 卷1（9）+ 卷2（10）+ 卷3（8）+ 卷4（9）+ 卷5（8）+ 卷6（6）+ 卷7（6）+ 卷8（9）+ 卷9（4）
• 🔍 已做通篇一致性检查：导航全部有效、章节内链零损坏、无草稿残留（python check_site.py 可随时复查）
• 📌 这套笔记是活文档：7.2 调试案例集等你用真实踩坑回填；各章延伸资源里的论文在新发表时按需增补；目录结构调整说一声即可

本周就该做的三件事（按 8.9 选题库）

1. 读 8.1 + 8.9，选 top3 题目，给 top1 写一页 proposal；
2. 拿着它和 9.1 的模板联系导师（W5–W6 的既定动作）；
3. 开始 A1 评测集的 v0 标注规范（30 条样例）——全线受益的基础设施。

写作约定

• 公式配直觉解释，所有数学都回答”这在模型里的哪里出现”
• 代码可运行优先，标注版本；每章末尾：自测题（带提示）+ 动手作业 + 延伸资源（≤5 个）
• 观点有争议处标注「业界有分歧」，不装成定论