附录 · 全书术语速查表

用法：读论文/复习/面试前快速过一遍。每条一句话定义 + 出处章节。建议用法：遮住定义，只看术语能否复述——说不出就跳回对应章节。

A. 基础与训练

术语	一句话定义	出处
交叉熵 / NLL	训练目标的本体：让模型输出分布逼近真实分布；梯度 = 预测 − 标签	0.1
KL 散度	两个分布的差异度量；对齐技术里的”缰绳”（别漂太远）	0.1 / 2.7
AdamW	现代默认优化器：Adam + 解耦的权重衰减	0.1
warmup + cosine	学习率先升后降的标准节奏	0.1 / 2.4
反向传播	链式法则自动化在计算图上：局部导数 × 逆拓扑传播	0.3
数值对拍	用 (L(θ+ε)−L(θ−ε))/2ε 验证手写梯度——防静默错误的唯一硬手段	0.3
RMSNorm	LayerNorm 的简化版（只除均方根）；LLaMA/Qwen 系标配	0.3 / 2.3
残差连接	y = x + F(x)：学增量而非从头学；梯度高速公路	1.1 / 0.3
AMP / bf16	混合精度：低精度算、高精度存；bf16 免 loss scale	0.4
EMA	权重的指数滑动平均副本——震荡轨迹的平均，评测更好	0.4 / 1.5
单 batch 过拟合	调试第一定律：一个 batch 降不到 0 = 代码有 bug	0.4

B. 架构与 LLM

术语	一句话定义	出处
Attention	按相关性加权取材：QKᵀ 打分 → softmax 归一 → 加权 V	1.2
1/√d_k	打分方差控制——防止 softmax 饱和	1.2
causal mask	上三角填 −∞：GPT 不会偷看未来	1.2 / 1.3
Pre-Norm / 残差流	Norm 包子层输入；残差主干是信息高速公路	1.3
RoPE	旋转位置编码：内积只依赖相对距离，可外推	1.3 / 2.3
SwiGLU	门控 MLP：down(silu(gate(x))·up(x))，现代标配	1.3
decoder-only	GPT 范式：自回归 + 因果 mask，生成理解统一	1.3 / 2.1
ViT / patch	图像切 16×16 块当 token——“一切皆 token”的视觉开端	1.4
MAE	遮 75% 重建：视觉自监督；遮罩率跟模态冗余度走	1.5
CLIP / InfoNCE	图文对齐空间；batch 内配对拉近、其余推远	1.5 / 1.6
DINO	自蒸馏 + centering 防坍塌；注意力涌现分割；机器人底座	1.5
BPE	字节级贪心合并的子词切分——模型真正看到的”字”	2.2
KV cache	缓存历史 K/V，每步只算新 token——推理省算的根基	2.3
GQA	K/V 头分组共享——KV cache 省 4 倍的标准手法	2.3 / 2.8
prefill / decode	一次读整个 prompt（compute-bound）vs 逐 token 生成（memory-bound）	2.3 / 2.8
scaling law / 6ND	loss 随规模幂律下降；训练算力 ≈ 6×参数×token	2.1 / 2.4
Chinchilla 配比	每参数约 20 token 训练最优；LLaMA 故意”过训”换推理便宜	2.4
SFT / loss mask	指令微调只在回答位置算 loss（−100 掩码）	2.5
MoE	专家路由：总参数与每 token 激活量解耦	2.9

C. 多模态

术语	一句话定义	出处
三条路线	双塔对齐 / 桥接 connector / 原生融合——融合点不断提前	3.1
视觉 token 是外语	VLM 的核心心智模型：LLM 架构不变，序列里多了外来词	3.1
AnyRes / 动态分辨率	高分辨率切块+缩略图；token 预算随内容变化	3.2 / 3.3
pixel shuffle	空间重排到通道维的无损压缩——开源 VLM 主力手法	3.3
Q-Former 之死	复杂 connector 输给 MLP+好数据——“数据>架构”最强案例	3.3
VQ-VAE / VQGAN	图像离散化：码本量化 + 直通估计器；离散生成的地基	3.4
tokenizer 天花板	重建上限 = 离散生成路线的上限	3.4
OCR-free	文档图端到端出结构化结果——版面语义联合建模	3.6
数据污染	评测题混进训练数据——背题不是能力；防：隔离去重+扰动测试	3.7
盲测基线	遮图重测——“有图减无图”的增量才是视觉能力	3.7 / 5.1
LLaVA 两阶段	一冻 LLM 学翻译（对齐），二解冻学行为（指令微调）	3.2

D. 生成模型

术语	一句话定义	出处
扩散 / DDPM	前向闭式加噪 + 学”指认噪声”；噪声=数据密度的梯度方向	4.2
DDIM / ODE 视角	采样=解反向轨迹方程；可跳步、可确定性	4.3
CFG	条件方向放大的特效药；s 过大→塑料感	4.3
LDM / VAE-f8	先压缩 48 倍再扩散——潜空间画布	4.4
cross-attention 注入	文生图条件机制本体：图像 Q 查文本 K/V	4.4
DiT / adaLN-Zero	生成模型 Transformer 化；条件调制 norm，gate 零初始化	4.5
Flow Matching / RF	直线插值学速度场：无 schedule、路径直、采样省步	4.5
spacetime patch	视频=3D token——“一切皆 token”的时空推广	4.7
统一模型三路线	全离散(Chameleon) / 混合损失(Transfusion) / 解耦编码(Janus)	4.8
扩散语言模型	掩码并行去噪替代自回归——双向上下文+高吞吐	4.9

E. 对齐与前沿

术语	一句话定义	出处
RLHF / KL 惩罚	奖励模型打分 + 别漂太远的缰绳	2.7
DPO	偏好直接监督化：奖励被闭式解消掉	2.7
GRPO / RLVR	组内相对优势省掉 critic；可验证奖励是当代推理引擎	2.7 / 5.1
reward hacking	钻奖励空子（格式猜答案/遮图不掉分）——验证器设计的永课题	5.1 / 8.6
thinking with images	裁剪/放大/检索作为推理动作——主动取证	5.1 / 8.5
VLA	VLM 输出动作 token/连续轨迹——具身的接口	5.3
世界模型	状态+动作→下一状态的内部模拟器；JEPA 主张只在表征空间预测	5.4
GUI Agent	截图→grounding→动作→校验；瓶颈在长时程误差累积	5.6
3DGS / 前馈重建	显式高斯实时渲染；VGGT=3D 的 SAM 时刻	5.5
蒸馏 / 数据蒸馏	大教小：logit 对齐 → 大模型造数据训小模型	5.8

F. 工程与科研

术语	一句话定义	出处
显存 16B/参数	全参混合精度的账：权重2+梯度2+AdamW 8+主权重4	7.1
OOM 决策树	先测量→降 batch→checkpoint→查 no_grad→降序列→分布式	7.1
数据版本化	数据当代码管：来源哈希+管线版本+统计+评测锁	7.5
可复现五要素	checkpoint 要带 opt/sched/epoch/rng/配置	0.4
最小复现七步法	提取主张→缩放→对照→差异表——复现的是主张不是代码	6.2
协议冻结	评测规则实验前写死——防”事后调协议凑分”	3.7
三遍读论文	分诊/通读/精读，10%/30%/10% 的取舍纪律	6.1
一页 proposal	问题假设/实验矩阵/算力三行/风险降级——立项标准格式	6.3
图先行写作	先固化图表再写正文——叙事跟着结果走	6.4
零初始化哲学	新模块从恒等出发不破坏预训练：LoRA-B/Flamingo 门控/adaLN/zero-conv 四连	2.6/3.3/4.5/4.6

74 章正文里所有加粗术语都在本章的延长线上——发现漏网高频词，说一声即补。

中英对照速览（读论文/写论文双向查）

中文	English	中文	English
交叉熵	cross-entropy	负对数似然	negative log-likelihood (NLL)
困惑度	perplexity	温度	temperature
反向传播	backpropagation	数值梯度	numerical gradient
残差连接	residual/skip connection	归纳偏置	inductive bias
混合精度	mixed precision (AMP)	梯度累积	gradient accumulation
断点续训	resume from checkpoint	指数滑动平均	EMA
注意力机制	attention mechanism	多头	multi-head
因果掩码	causal mask	位置编码	positional encoding
旋转位置编码	RoPE	查询/键/值	query / key / value
前馈网络	feed-forward network (FFN)	门控	gated (SwiGLU)
图像块	patch	视觉 token	visual token
自监督	self-supervised	对比学习	contrastive learning
图文对齐	image-text alignment	零样本	zero-shot
提示词工程	prompt engineering	模板	chat template
分词器	tokenizer	子词	subword
键值缓存	KV cache	并发/吞吐/延迟	concurrency / throughput / latency
量化	quantization	投机解码	speculative decoding
指令微调	instruction tuning (SFT)	灾难性遗忘	catastrophic forgetting
低秩适配	LoRA (low-rank adaptation)	合并权重	merge weights
人类反馈强化学习	RLHF	直接偏好优化	DPO
可验证奖励	verifiable reward (RLVR)	组相对策略优化	GRPO
奖励作弊	reward hacking	拒绝采样	rejection sampling
提示注入	prompt injection	幻觉	hallucination
数据污染	(benchmark) contamination	去重	deduplication
消融实验	ablation study	基线	baseline
掩码建模	masked modeling	直通估计器	straight-through estimator
码本	codebook	码本坍塌	codebook collapse
潜空间	latent space	噪声调度	noise schedule
引导系数	guidance scale	负面提示词	negative prompt
扩散/流匹配	diffusion / flow matching	时间步	(diffusion) timestep
视觉语言模型	VLM	多模态	multimodal
指代表达/指框	referring expression / grounding	光学字符识别	OCR
显著性	saliency	负空间	negative space
明暗对比	chiaroscuro	笔触	brushstroke
图像学	iconography	流传有序	provenance