#separator:tab
交叉熵（NLL）	训练目标的本体：让输出分布逼近真实分布；对 logits 的梯度 = 预测 − 标签（0.1）
KL 散度	两个分布的差异；对齐技术里的"缰绳"——防止策略漂离参考模型（0.1/2.7）
AdamW	现代默认优化器：Adam + 与自适应步长解耦的权重衰减（0.1）
warmup + cosine	学习率先线性升到峰值再余弦缓降的标准节奏；微调 lr 比预训练小 10-100 倍（0.1/2.4）
反向传播	链式法则自动化在计算图上：局部导数 × 逆拓扑传播；共享节点梯度要累加（0.3）
数值对拍	用 (L(θ+ε)−L(θ−ε))/2ε 验证梯度——防静默错误的唯一硬手段（0.3）
RMSNorm	LayerNorm 砍掉均值中心化的简化版；LLaMA/Qwen 全系标配（0.3）
残差连接	y = x + F(x)：学增量不从头学；梯度直通缓解深层退化（1.1/0.3）
AMP / bf16	混合精度：低精度算高精度存；bf16 指数位同 fp32，免 loss scale（0.4）
EMA	权重指数滑动平均副本：落在更平坦的盆里，评测/部署更好（0.4/1.5）
单 batch 过拟合定律	一个 batch 降不到 0 = 代码有 bug，不是模型不行（0.4）
断点续训五要素	模型/优化器/调度器/epoch/随机状态——缺一训练就"失忆"（0.4）
attention 三步	QKᵀ 打分 → softmax 归一 → 加权求和 V；一切大模型的原语（1.2）
除以 √d_k	内积方差是 d，防止 softmax 饱和梯度消失——方差控制思想（1.2）
causal mask	注意力上三角填 −∞，GPT 不偷看未来；decoder-only 的根基（1.2）
Pre-Norm	Norm 包子层输入，残差主干无变换 → 百层可训；末端补 final norm（1.3）
RoPE	旋转位置编码：q/k 按位置旋转使内积只依赖相对距离，可外推（1.3/2.3）
SwiGLU	门控 MLP：down(silu(gate(x))·up(x))，现代 LLM 标配（1.3）
decoder-only 为何赢	目标简单数据利用率高、生成理解统一、架构简洁、支持上下文学习（1.3/2.1）
ViT patch 化	切 16×16 块线性投影 = 一次 k=16,s=16 卷积；弱先验换大数据（1.4）
MAE	遮 75% 重建像素：遮罩率跟模态冗余度走；解码器是可扔的脚手架（1.5）
CLIP / InfoNCE	图文对齐空间：batch 内配对拉近、其余推远；负样本防坍塌（1.5/1.6）
DINO	自蒸馏 + centering/sharpening 防坍塌；注意力涌现分割；VLA 视觉底座（1.5）
BPE	字节级贪心合并：高频对优先获得 token 席位；永不出 OOV（2.2）
KV cache	缓存历史 K/V 每步只算新 token——因果性保证历史不变（2.3）
GQA	K/V 头分组共享：KV cache 省 4 倍，质量损失极小（2.3/2.8）
prefill vs decode	prefill 计算瓶颈、decode 显存带宽瓶颈——并发摊薄成本的经济学（2.3/2.8）
6ND 公式	训练 FLOPs ≈ 6×参数×token（前向 2 + 反向 4）；任何实验先算这笔账（2.4）
Chinchilla 配比	每参数约 20 token 训练最优；LLaMA 故意过训小模型换推理便宜（2.4）
SFT 的 loss mask	只在 assistant 回答位置算 loss（其余 −100）；模板不一致是头号 bug（2.5）
LoRA	低秩增量 ΔW=BA：B 置零起点、α/r 稳尺度；训练 0.1-1% 参数（2.6）
QLoRA 三件套	NF4 量化底座 + bf16 反量化计算 + 双重量化/分页优化器（2.6）
DPO	把 RLHF 目标闭式化消掉奖励模型：好答案相对参考的 Log 概率差进 sigmoid（2.7）
GRPO	组内采样均值当 baseline 省掉 critic；配可验证奖励 = RLVR（2.7/5.1）
reward hacking	钻奖励空子：格式猜答案、遮图不掉分——验证器设计是研究活（5.1）
三条路线	双塔对齐 / 桥接 connector / 原生融合——融合点不断提前（3.1）
视觉 token 是外语	VLM 核心心智模型：LLM 架构不变、序列变长、目标仍是 next-token（3.1）
LLaVA 两阶段	一冻 LLM 学翻译（对齐 projector），二解冻学行为（指令微调）（3.2）
Q-Former 之死	复杂 connector 输给 MLP+好数据——"数据>架构"的最强案例（3.3）
pixel shuffle	相邻 token 空间重排进通道维：无损打包，压缩集中在后续 Linear（3.3）
tokenizer 天花板	VQ 重建上限 = 离散生成路线的上限（3.4）
数据污染	评测题混进训练数据；防线：隔离去重 + canary + 扰动测试（3.7/7.5）
盲测基线	遮图重测，"有图减无图"的增量才是真视觉能力（3.7/5.1）
DDPM 训练目标	闭式加噪后让网络指认混入的噪声 ε——噪声=数据密度的梯度方向（4.2）
CFG	采样时放大"条件方向"：ε_∅ + s·(ε_c − ε_∅)；s 过大塑料感（4.3）
LDM/VAE-f8	先压缩 48 倍再在潜空间扩散——像素太贵先压再画（4.4）
DiT / adaLN-Zero	生成模型 Transformer 化；条件调制 norm 参数，gate 零初始化（4.5）
Flow Matching	直线插值学速度场：无 schedule、路径直、欧拉少步采样（4.5）
零初始化哲学	新模块从恒等出发不破坏预训练：LoRA-B/Flamingo门控/adaLN/zero-conv 四连（2.6/3.3/4.5/4.6）
ControlNet zero-conv	复制主干当可训练旁路，零卷积保证起点不扰动原模型（4.6）
统一模型三路线	全离散 Chameleon / 混合损失 Transfusion / 解耦编码 Janus（4.8）
GRPO 组内优势	A=(r−mean)/std：组内平均即 baseline，天然省掉 critic（2.7/5.1）
数据污染 vs 评测饱和	前者是背题（防：隔离+扰动），后者是刷到头（解：自建领域基准）（3.7）
显存 16B/参数	全参混合精度：权重2+梯度2+AdamW 8+fp32主权重 4 字节（7.1）
OOM 决策树	先测量→杀僵尸→降batch→checkpoint→查 no_grad→降序列→碎片→分布式（7.1）
最小复现七步法	复现的是可检验主张：提取→缩放→对照→差异表→归档（6.2）
协议冻结	评测规则实验前写死（版本/分辨率/模板/seed）——防事后调协议凑分（3.7）
零初始化哲学（补卡）	四连：Flamingo 门控、LoRA B 置零、DiT adaLN-Zero、ControlNet zero-conv（多章）
利用率修正	单位成本 = 时租 ÷ 总吞吐 ÷ 利用率——10% 利用率让成本贵 10 倍，API 常更划算（7.4）