大模型从零学习笔记

1. 1
   理解主线进入本章主教材 →
2. 2
   原理深挖模型架构与 Scaling（10 题）
3. 3
   代码实践零基础准备：Python、NumPy 与正确安装（3 节）

学会的标准：不看笔记，能从原始文本讲到应用回答，并指出参数、算力、数据分别影响什么。

1. 1
   理解主线进入本章主教材 →
2. 2
   原理深挖Tokenizer 与表示学习（9 题）
3. 3
   代码实践起步：环境、设备与第一枚 Tensor（6 节）张量基本功：索引、广播与线性代数（7 节）

学会的标准：给定一段文本，能写出从 token id 到三维隐藏状态的形状，并解释未知词、位置与相似度问题。

1. 1
   理解主线进入本章主教材 →
2. 2
   原理深挖机器学习与深度学习基础（10 题）
3. 3
   代码实践自动求导：从计算图到反向传播（6 节）神经网络工程：Module、损失与训练循环（7 节）

学会的标准：能根据 loss、gradient norm 与学习率曲线定位“没有学会、学不动、学崩了”三类故障。

1. 1
   理解主线进入本章主教材 →
2. 2
   原理深挖Transformer 与注意力（16 题）
3. 3
   代码实践亲手搭 Transformer：从 Embedding 到注意力（8 节）

学会的标准：能在纸上推导多头注意力各张量形状，并解释残差、归一化、MLP 和 Mask 各自的必要性。

1. 1
   理解主线进入本章主教材 →
2. 2
   原理深挖预训练数据与优化（11 题）
3. 3
   代码实践数据管线：Dataset、DataLoader 与批处理（6 节）

学会的标准：能解释一批原始文档如何变成训练 batch，并列出数据质量、泄漏、吞吐和收敛的检查指标。

1. 1
   理解主线进入本章主教材 →
2. 2
   原理深挖分布式训练（10 题）
3. 3
   代码实践分布式训练：从 DDP 到 FSDP 与 TP（6 节）

学会的标准：给定参数量、精度和 GPU 数量，能估算显存下限，选择并行策略并指出主要通信瓶颈。

1. 1
   理解主线进入本章主教材 →
2. 2
   原理深挖SFT 与参数高效微调（12 题）对齐与推理能力（14 题）
3. 3
   代码实践稳定训练：初始化、AMP、裁剪与排错（6 节）

学会的标准：能根据目标、数据量与预算选择全参微调、LoRA 或偏好优化，并说明离线评测和上线风险。

1. 1
   理解主线进入本章主教材 →
2. 2
   原理深挖推理与服务优化（14 题）
3. 3
   代码实践性能与显存：Profiler、compile 与检查点（6 节）

学会的标准：能解释首 token 延迟和每 token 延迟的来源，并针对离线吞吐或在线延迟提出不同优化顺序。

1. 1
   理解主线进入本章主教材 →
2. 2
   原理深挖RAG 与检索系统（14 题）
3. 3
   代码实践用最小检索管线完成离线实验

学会的标准：能把“回答不对”拆成语料、切块、召回、重排、上下文组织和生成六层，并为每层定义指标。

1. 1
   理解主线进入本章主教材 →
2. 2
   原理深挖Agent 与工具调用（8 题）
3. 3
   代码实践大模型生态：Transformers、PEFT、torchao 与 TorchTitan（6 节）

学会的标准：能画出 Agent 状态机，定义工具输入输出、超时重试、幂等、权限和人工确认点。

1. 1
   理解主线进入本章主教材 →
2. 2
   原理深挖评测、安全与幻觉（8 题）
3. 3
   代码实践构造固定评测集和错误标签体系

学会的标准：能为一个真实应用设计覆盖质量、事实性、安全、延迟和成本的评测矩阵，而不是只报一个平均分。

1. 1
   理解主线进入本章主教材 →
2. 2
   原理深挖多模态大模型（7 题）
3. 3
   代码实践比较早期融合、晚期融合与统一序列方案

学会的标准：能解释不同模态如何编码、对齐并进入语言模型，同时指出数据、分辨率、时序和安全的新难点。

1. 1
   理解主线进入本章主教材 →
2. 2
   原理深挖编程与系统设计题（7 题）
3. 3
   代码实践方向实战：训练并优化一个迷你语言模型（7 节）

学会的标准：能独立完成从问题定义、基线、实现、评测到上线观测的闭环，并清楚说明每个取舍的证据。