导读与附录
附录 · 十卷思维导图
展开本章目录与同卷章节
卷0 · 基础篇卷1 · 深度学习与CV卷2 · LLM 内功卷3 · 多模态理解卷4 · 生成模型卷5 · 前沿专题卷6 · 科研方法论卷7 · 工程手册卷8 · 美术学交叉卷9 · 生涯执行同卷章节《从零到多模态大模型》学习笔记附录 · 全书术语速查表附录 · 十卷思维导图附录 · 论文精读包(10 篇核心论文预读笔记)Anki 记忆卡组使用说明用法:每卷开卷前看一眼(知道地图),合卷后再看一眼(自测回忆——遮住子节点,看能展开多少)。Mermaid mindmap 渲染,节点即章节关键词。
卷0 · 基础篇
mindmap
root((卷0 基础篇))
数学
内积=相似度
交叉熵=训练目标
KL=缰绳
AdamW与lr节奏
6ND算力账
PyTorch
张量与广播
训练循环
显存速算与OOM三板斧
反向传播
计算图与链式法则
手写micrograd
数值对拍
RMSNorm
训练工程
AMP与bf16
断点续训五要素
单batch定律
EMA与梯度裁剪
远程开发
Git铁律
tmux保命
租卡流程模板卷1 · 深度学习与CV
mindmap
root((卷1 现代CV))
CNN到ResNet
卷积四视角
残差=学增量
归纳偏置与数据规模
注意力
QKV与1比根d
causal mask
FlashAttention思想
Transformer
Pre-Norm残差流
RoPE与SwiGLU
手写TinyGPT
参数量12d2
ViT与谱系
patch化=16x16卷积
Swin与ConvNeXt
token数量矛盾
自监督
MAE遮75
CLIP对齐
DINO自蒸馏
CLIP实操
zero-shot
prompt集成
检索demo
SAM
三件套
提示范式
数据引擎自举
检测分割史
四幕剧
U-Net双血统
相机模型
针孔投影
内外参
COLMAP四步卷2 · LLM 内功
mindmap
root((卷2 LLM内功))
前史
ngram死穴
word2vec
GPT三张牌
BPE
贪心合并
字节兜底
数字切分翻案
GPT工程版
升级清单
KV cache账
GQA
prefill与decode
预训练
数据管线四步
Chinchilla与过训
6ND
spike处置
SFT
loss mask
模板错位
LIMA
LoRA
低秩与B置零
rank选择
QLoRA三件套
merge与adapter
对齐
RLHF三步
DPO闭式
GRPO组内优势
RLVR
推理
量化三路
PagedAttention
投机解码
成本账
前沿与小模型
MoE
长上下文
甜点区选题卷3 · 多模态理解
mindmap
root((卷3 VLM))
三条路线
双塔对齐
桥接connector
原生融合
四问清单
LLaVA
两阶段
inputs_embeds
失败模式表
Connector
Resampler
Q-Former之死
pixel shuffle
动态分辨率
视觉tokenizer
VQVAE
码本坍塌
天花板定律
双雄精读
Qwen演化
InternVL演化
选底座决策
文档理解
OCR-free
MinerU管线
评测
五大陷阱
协议冻结
盲测基线
数据案例
665K构成
配比读表法卷4 · 生成模型
mindmap
root((卷4 生成))
五大家族
AR
VAE
GAN
扩散
Flow
DDPM
闭式加噪
指认噪声
MNIST实现
采样与CFG
ODE视角
DDIM跳步
guidance scale
SD
三大件
潜空间48倍
换代逻辑
DiT与Flow
adaLN-Zero
直线速度场
MMDiT
可控生成
ControlNet
IP-Adapter
风格LoRA
zero-conv
视频
时空token
开源阵营
世界模型合流
统一模型
Chameleon
Transfusion
Janus解耦
扩散LM
掩码并行
与AR对比卷5 · 前沿专题
mindmap
root((卷5 前沿))
推理RL
三条路线
学生GRPO配方
reward hacking
数据为中心
四类数据
五指标体检
固定模型动数据
具身VLA
离散与连续动作
sim2real
LIBERO路线
世界模型
四种形态
JEPA主张
物理探针
3D
NeRF
3DGS
VGGT前馈
Agent
五层栈
SoM提示
误差累积
医学与科学
三特殊性
nnUNet与MedSAM
合规三件套
高效化
五杠杆
蒸馏三阶段
端侧三件套卷6 · 科研方法论
mindmap
root((卷6 方法论))
读论文
三遍法
藏猫腻清单
精读模板
复现
七步法
三层归因
timebox
选题
四条标准
文献扫描五步
一页proposal
风险降级
写作投稿
图先行
rebuttal
五条拒稿理由
开源
贡献阶梯
itch-driven
30天首PR
诚信
红绿灯表
幻觉引用防线
署名规范卷7 · 工程手册
mindmap
root((卷7 工程))
显存
16B每参数
KV账
决策树
调试案例
十大翻车
现象归因
分布式
DDP检查单
ZeRO三级
决策树
部署
单位成本
利用率修正
压测拐点
数据管线
EXIF陷阱
两层去重
版本化五要素
AI协作
分工总表
五步工作流
四大暗坑
无AI日卷8 · 美术学交叉
mindmap
root((卷8 美术学))
美术基础
三层框架
色彩构图光影
概念可计算表
计算美学
NIMA分布预测
偏好奖励模型
SRCC
风格史
Gram矩阵
AdaIN统计矩
生成分布
艺术生成
artist study六步
水墨三难点
美术质检表
看画VLM
五层任务
微调RAG矩阵
看画agent
评价与对齐
偏好数据
扩散DPO
奖励钻空子
数据集
标注规范五节
kappa三把尺
版权红线
文化遗产
编目管线
数字人文远读
修复伦理
选题库
二十题
决策树
A1为底座卷9 · 生涯执行
mindmap
root((卷9 生涯))
周计划
五阶段
夏令营清单
导师模板
四条路
保研最优
考研复试变现
PhD硬通货
就业项目优先
决策截止2027.6
作品集
小而硬三判据
README六段
三分钟讲法
面试
四关打法
手写题三道
反向提问