5.8 高效化：蒸馏、量化、剪枝与小模型

本章目标：把散落各章的效率技术（0.4 AMP、2.3 KV/GQA、2.8 量化、2.9 MoE/长上下文、3.3 token 压缩、3.5 ViR）收拢成一张”模型高效化”的全景图，并补上最后两块：蒸馏与剪枝。学完标准：能给”在 8GB 显存上跑一个能用的多模态模型”写出完整技术路线。

1. 全景图：高效化的五个杠杆

杠杆	原理	本笔记出处
降精度	fp32→bf16→int8→4bit（数值表示压缩）	0.2/0.4/2.8
蒸馏	大模型教小模型（能力迁移）	本章新讲
剪枝/稀疏	删不重要的权重/结构	本章新讲
架构级	MoE 稀疏激活、GQA、线性注意力	2.3/2.9
系统级	KV 压缩、PagedAttention、token 压缩、分辨率路由	2.8/3.3/3.5 ViR

组合定律：产业方案从不单用——FLUX-schnell（蒸馏步数 + 流匹配 + 架构）、InternVL3.5（ViR 路由 + Cascade RL + 部署优化）、Qwen 端侧（蒸馏 + 4bit）。“哪些杠杆能叠加、哪些互斥”是工程判断力的来源（量化与蒸馏可叠加；剪枝与量化同时上要小心误差叠加）。

2. 蒸馏：能力的搬家术

三阶段谱系：

1. 经典 logit 蒸馏（0.3 的 softmax 家族）：学生的输出分布对齐教师的（KL + 温度——温度让”暗知识”（次优选项的相对概率）显形，0.1 §3.4 的伏笔）；
2. 特征/关系蒸馏：对齐中间层特征或样本间关系（老 CV 的遗产，1.1 §4 表格里”知识蒸馏”的展开）；
3. LLM 时代两种形态：白盒（有权重：logit/特征对齐，如 MiniLLM）与黑盒（只有 API：让教师生成数据教学生——实质是数据蒸馏，2.5 的蒸馏 SFT、R1 的 distilled 系列、5.2 的合成数据都是这个家族）。

认知要点：现代”蒸馏”一词已扩到”用大模型造数据训小模型”——它与合成数据的边界模糊，核心都是能力从教师流向学生的通道设计。学生实验配方：固定你的领域任务，Qwen3-32B 造数据 → Qwen2.5-2B 学习，扫数据量画”蒸馏曲线”（多少教师数据能把学生顶到什么水平——5.2 §4 配方的蒸馏版）。

3. 剪枝：删冗余的艺术（概念级）

• 非结构化剪枝：删单个权重（稀疏度高但 GPU 吃不到加速——需要专用稀疏计算）；
• 结构化剪枝：删整个通道/层/头（硬件友好，掉点风险大）——LLM 常用”层删除”（宽度不够深度来凑的反向操作）；
• 现代简化：SliceGPT、短GPT 类”训练后剪枝”方案 vs 传统的”剪后重训”；与量化的关系：4bit 量化本身就是一种极限非结构化”压缩”（每个权重从 16bit 删到 4bit）——两者在”找到不重要的部分”上是同一个问题。

4. 端侧部署的现实（8GB 手机的账）

• 栈：llama.cpp/GGUF（2.8）→ Ollama（消费级体验）→ MLC-LLM/ExecuTorch（手机 NPU 编译）；
• 账：8GB 手机扣系统剩 ~5GB → 3B 模型 4bit（1.5GB 权重 + 1GB KV + 系统）是甜点——端侧多模态 = 蒸馏到 2–3B + 4bit + 视觉 token 压缩（3.3）三件套；
• 端侧的特殊约束：首 token 延迟（模型加载）、内存带宽（手机 SoC 的 decode 速度）、功耗——评测维度与云端不同（7.4 的指标体系加”能耗”一列）。

5. 自测题

1. 五个杠杆各举一个本笔记出处？（降精度-0.4/蒸馏-本章/剪枝-本章/MoE+GQA-2.3/2.9/系统-2.8+3.3）
2. 温度在 logit 蒸馏里的作用？（放大暗知识——次优类相对概率）
3. 白盒与黑盒蒸馏的区别？“数据蒸馏”属于哪类？（有权重对齐分布 vs 只有 API 造数据；黑盒——与合成数据同宗）
4. 结构化 vs 非结构化剪枝的取舍？（硬件友好 vs 稀疏度高——GPU 时代结构化更实用）
5. 8GB 手机跑多模态的三件套？（2–3B 蒸馏模型 + 4bit + 视觉 token 压缩）
6. “哪些杠杆可叠加”举一对互斥风险？（剪枝+量化误差叠加；蒸馏与量化则可叠加）

6. 动手作业

1. 蒸馏曲线实验：用强模型给你 8.5 的领域任务造 1k/5k/20k 条数据，训同一个 2B 学生，画”数据量→下游分”曲线——这份曲线同时是 5.2/5.8/8.5 三个方向的素材；
2. 量化叠加实验：你的微调模型 fp16 → AWQ-4bit → 2bit（若可得），三档在留出集上的质量/显存/速度表；
3. 端侧体验：Ollama 跑一个 3B 多模态模型，测首 token 延迟与功耗（拔电源看掉电）——端侧约束的实感；
4. 挑战：读 R1 论文蒸馏节，回答”distilled 模型为什么不需要 RL 就有推理能力”——数据蒸馏的威力证据。

7. 延伸资源

• 《A Survey on Model Compression》类综述——全景对照（选读）
• R1 蒸馏节 / MiniLLM——两代蒸馏的代表
• llama.cpp / MLC-LLM 文档——端侧工程入口