学习索引 · 风谷笔记
PyTorch 从零到大模型工程学习索引
十二章、74 节的 PyTorch 中文教程入口，从 Python、NumPy 与安装基础走到 Transformer、性能优化、分布式训练和大模型生态实战。
这套专题面向大模型算法实践，按学习顺序组织 PyTorch 内容。每节包含讲解、运行条件、观察标准、常见错误、练习、参考答案和官方资料。
路线概览
- 零基础：Python、NumPy、安装、Tensor、shape、dtype、device 与可复现。
- 基础训练：自动求导、
nn.Module、损失、优化器、训练循环与 checkpoint。 - 模型原理：数据管线、Embedding、因果注意力、RoPE 与 Decoder Block。
- 工程进阶：AMP、梯度累积、Profiler、
torch.compile与激活检查点。 - 大模型方向：DDP、FSDP2、Tensor Parallel、KV Cache、LoRA、Transformers、PEFT、torchao、TorchTitan 与迷你语言模型项目。
专题同时附带分类训练器、Decoder Block 和迷你中文语言模型三个完整工程，提供 CPU 小数据演示、GPU 配置说明与打包下载。课程进度和上次阅读位置只保存在当前浏览器，不会上传个人学习记录。
建议从第一章顺序学习。每完成一节先改动示例中的一个维度或超参数，再做动手练习；这样学到的是形状推理和调试能力，而不只是复制代码。