星渊炼火 · 以代码求真
PyTorch 从零到大模型工程
十二章、74 节课程，覆盖 Python 基础、Tensor、训练循环、Transformer、性能优化、分布式训练和迷你语言模型项目。每节附有代码、运行条件、常见错误和相关资料。
- 12
- 学习章节
- 74
- 核心课程
- 3
- 贯穿项目
阅读记录
本机课程进度
尚无已完成的课程。
预计总学习时间约 28 小时 · 进度只保存在当前设备
课程结构
四个学习阶段
- 01运行基础
Python、NumPy、安装、Tensor、设备与梯度。
- 02模型实现
训练循环、数据管线、注意力与 Transformer。
- 03性能工程
AMP、Profiler、编译、显存与分布式训练。
- 04完整项目
分类器、Decoder Block 与迷你语言模型。
课程索引
搜索知识点
支持按课程标题、阶段和主题搜索。
入门 · 零基础准备：Python、NumPy 与正确安装只学够用的 Python：变量、函数、容器与循环入门 · 零基础准备：Python、NumPy 与正确安装NumPy 到 Tensor：先理解数组再理解框架入门 · 零基础准备：Python、NumPy 与正确安装按机器安装 PyTorch，并读懂 CUDA 版本入门 · 起步：环境、设备与第一枚 Tensor先搭一个不容易坏的 PyTorch 环境入门 · 起步：环境、设备与第一枚 TensorTensor 到底是什么入门 · 起步：环境、设备与第一枚 Tensor创建、复制与共享内存入门 · 起步：环境、设备与第一枚 Tensordtype 为什么会影响速度、显存和精度入门 · 起步：环境、设备与第一枚 TensorCPU、CUDA 与设备无关代码入门 · 起步：环境、设备与第一枚 Tensor随机数、种子与可复现边界基础 · 张量基本功：索引、广播与线性代数用 shape 推理，而不是靠试错基础 · 张量基本功：索引、广播与线性代数索引、切片与布尔选择基础 · 张量基本功：索引、广播与线性代数reshape、view、transpose 与 contiguous基础 · 张量基本功：索引、广播与线性代数广播机制与隐形内存基础 · 张量基本功：索引、广播与线性代数矩阵乘法、bmm 与 einsum基础 · 张量基本功：索引、广播与线性代数数值稳定：softmax、logsumexp 与归一化基础 · 张量基本功：索引、广播与线性代数原地操作、别名与内存安全基础 · 自动求导：从计算图到反向传播动态计算图如何记录运算基础 · 自动求导：从计算图到反向传播叶子 Tensor、grad_fn 与 retain_grad基础 · 自动求导：从计算图到反向传播为什么每步都要清空梯度基础 · 自动求导：从计算图到反向传播停止梯度：no_grad、inference_mode 与 detach基础 · 自动求导：从计算图到反向传播梯度钩子与调试梯度流基础 · 自动求导：从计算图到反向传播自定义 autograd Function 何时需要基础 · 神经网络工程：Module、损失与训练循环nn.Module 不只是一个 Python 类基础 · 神经网络工程：Module、损失与训练循环forward、call 与训练/评估模式基础 · 神经网络工程：Module、损失与训练循环选择损失函数并检查输入约定基础 · 神经网络工程：Module、损失与训练循环优化器、参数组与权重衰减基础 · 神经网络工程：Module、损失与训练循环写对一个最小训练循环基础 · 神经网络工程：Module、损失与训练循环学习率调度与 warmup基础 · 神经网络工程：Module、损失与训练循环checkpoint：保存的不只是模型权重进阶 · 数据管线：Dataset、DataLoader 与批处理Dataset 与 DataLoader 各管什么进阶 · 数据管线：Dataset、DataLoader 与批处理collate_fn 与变长序列 padding进阶 · 数据管线：Dataset、DataLoader 与批处理shuffle、Sampler 与数据顺序进阶 · 数据管线：Dataset、DataLoader 与批处理多进程加载、pin_memory 与 non_blocking进阶 · 数据管线：Dataset、DataLoader 与批处理IterableDataset 与流式语料进阶 · 数据管线：Dataset、DataLoader 与批处理数据划分、污染与可复现检查进阶 · 亲手搭 Transformer：从 Embedding 到注意力Embedding：把 token id 变成向量进阶 · 亲手搭 Transformer：从 Embedding 到注意力单头缩放点积注意力进阶 · 亲手搭 Transformer：从 Embedding 到注意力多头注意力的拆分与合并进阶 · 亲手搭 Transformer：从 Embedding 到注意力因果掩码为什么放在 softmax 前进阶 · 亲手搭 Transformer：从 Embedding 到注意力残差、LayerNorm 与 Pre-Norm进阶 · 亲手搭 Transformer：从 Embedding 到注意力位置编码与 RoPE 的接口直觉进阶 · 亲手搭 Transformer：从 Embedding 到注意力用 scaled_dot_product_attention 获得融合内核进阶 · 亲手搭 Transformer：从 Embedding 到注意力组装一个 Decoder Block 并数清参数进阶 · 稳定训练：初始化、AMP、裁剪与排错初始化如何影响信号与梯度进阶 · 稳定训练：初始化、AMP、裁剪与排错AMP：autocast 与 GradScaler 分工进阶 · 稳定训练：初始化、AMP、裁剪与排错梯度累积如何模拟更大 batch进阶 · 稳定训练：初始化、AMP、裁剪与排错梯度裁剪解决什么、不解决什么进阶 · 稳定训练：初始化、AMP、裁剪与排错系统定位 NaN 与 Inf进阶 · 稳定训练：初始化、AMP、裁剪与排错最小可复现实验与训练监控高级 · 性能与显存：Profiler、compile 与检查点先定义正确的性能指标高级 · 性能与显存：Profiler、compile 与检查点用 PyTorch Profiler 找真正瓶颈高级 · 性能与显存：Profiler、compile 与检查点显存到底花在哪里高级 · 性能与显存：Profiler、compile 与检查点激活检查点：用计算换显存高级 · 性能与显存：Profiler、compile 与检查点torch.compile 能优化什么高级 · 性能与显存：Profiler、compile 与检查点减少同步、拷贝与 Python 开销高级 · 分布式训练：从 DDP 到 FSDP 与 TP先建立 rank、world size 与进程组概念高级 · 分布式训练：从 DDP 到 FSDP 与 TP集合通信：all-reduce 与 reduce-scatter高级 · 分布式训练：从 DDP 到 FSDP 与 TPDistributedDataParallel 的正确骨架高级 · 分布式训练：从 DDP 到 FSDP 与 TPFSDP2 为什么能训练更大模型高级 · 分布式训练：从 DDP 到 FSDP 与 TPTensor Parallel 与二维并行高级 · 分布式训练：从 DDP 到 FSDP 与 TP分布式挂起与排错清单高级 · 大模型生态：Transformers、PEFT、torchao 与 TorchTitanTransformers：从 Tokenizer 到预训练模型高级 · 大模型生态：Transformers、PEFT、torchao 与 TorchTitanDatasets：可复现的数据加载与 map高级 · 大模型生态：Transformers、PEFT、torchao 与 TorchTitanAccelerate：让训练循环适配设备与分布式高级 · 大模型生态：Transformers、PEFT、torchao 与 TorchTitanPEFT：用官方库完成 LoRA 微调高级 · 大模型生态：Transformers、PEFT、torchao 与 TorchTitantorchao：训练到推理的原生量化入口高级 · 大模型生态：Transformers、PEFT、torchao 与 TorchTitanTorchTitan：阅读官方大规模预训练配方实战 · 方向实战：训练并优化一个迷你语言模型把文本变成 next-token 训练样本实战 · 方向实战：训练并优化一个迷你语言模型搭建最小 Decoder-only Language Model实战 · 方向实战：训练并优化一个迷你语言模型训练、验证与过拟合一个小批次实战 · 方向实战：训练并优化一个迷你语言模型自回归生成、温度与 top-k实战 · 方向实战：训练并优化一个迷你语言模型KV Cache 为什么能加速解码实战 · 方向实战：训练并优化一个迷你语言模型用 LoRA 思想做参数高效微调实战 · 方向实战：训练并优化一个迷你语言模型把项目整理成算法岗可讲述的证据
12 章课程
从 Python 基础到大模型训练
课程依次覆盖基础语法、张量与训练、Transformer、性能优化、分布式和大模型生态。
01入门 · 3 节
零基础准备：Python、NumPy 与正确安装
只补后续课程真正会用到的 Python 与 NumPy，并学会按自己的机器选择 PyTorch、判断 CUDA 是否可用。
Python / NumPy / 安装进入本章 →02入门 · 6 节起步：环境、设备与第一枚 Tensor
从可复现的环境和第一枚张量开始，建立“形状、类型、设备”这三个贯穿 PyTorch 与大模型工程的基本坐标。
环境配置 / Tensor / shape进入本章 →03基础 · 7 节张量基本功：索引、广播与线性代数
把形状变换、广播、索引与批量矩阵乘法练成肌肉记忆，为注意力、掩码和损失计算打稳地基。
broadcasting / view / einsum进入本章 →04基础 · 6 节自动求导：从计算图到反向传播
拆开 autograd 的黑盒：看懂动态计算图、叶子节点、梯度累积、钩子和自定义求导，真正掌握训练为何有效。
autograd / backpropagation / gradient进入本章 →05基础 · 7 节神经网络工程：Module、损失与训练循环
从 `nn.Module` 的参数注册机制出发，亲手搭建可训练、可验证、可保存和可恢复的完整训练器。
nn.Module / loss / optimizer进入本章 →06进阶 · 6 节数据管线：Dataset、DataLoader 与批处理
让数据从磁盘稳定、高效地流向加速器，掌握 Dataset、采样、动态 padding、多进程加载与数据泄漏排查。
Dataset / DataLoader / collate_fn进入本章 →07进阶 · 8 节亲手搭 Transformer：从 Embedding 到注意力
不依赖高级封装，沿着形状流亲手实现词嵌入、因果注意力、前馈网络、残差与 Decoder Block。
Embedding / Attention / Transformer进入本章 →08进阶 · 6 节稳定训练：初始化、AMP、裁剪与排错
让模型不仅能跑，还能稳定地学：掌握初始化、混合精度、梯度累积、裁剪、监控和 NaN 定位。
AMP / gradient clipping / debugging进入本章 →09高级 · 6 节性能与显存：Profiler、compile 与检查点
用测量代替猜测，读懂 CPU/GPU 时间线、显存组成、激活检查点与 `torch.compile` 的适用边界。
Profiler / torch.compile / checkpointing进入本章 →10高级 · 6 节分布式训练：从 DDP 到 FSDP 与 TP
理解进程、rank 和集合通信，掌握 DDP、FSDP2、张量并行的选择逻辑，以及分布式训练最常见的挂起问题。
DDP / FSDP2 / Tensor Parallel进入本章 →11高级 · 6 节大模型生态：Transformers、PEFT、torchao 与 TorchTitan
把 PyTorch 基础接到真实大模型工具链，理解 Hugging Face 生态、参数高效微调、量化优化与官方大规模训练框架的职责边界。
Transformers / Datasets / Accelerate进入本章 →12实战 · 7 节方向实战：训练并优化一个迷你语言模型
把前十一章串成一个可运行项目：构造自回归样本、训练 Decoder-only 模型、生成文本、做参数高效微调并形成项目复盘。
Decoder-only / language modeling / LoRA进入本章 →贯穿项目
每走一段，就留下可运行的成果
验证记录
代码运行范围
- 74
- Python 代码语法校验
- 39
- CPU 独立执行通过
- 35
- 组合或硬件路径明示
- 3/3
- 完整项目 CPU 通过
CUDA、FSDP2、Tensor Parallel 与 TorchTitan 路径明确标记所需硬件；页面同时提供运行命令和验收指标，但不会声称在本站 CPU 环境完成了 GPU 验证。
资料来源
资料来源与版本边界
课程以 PyTorch 官方文档和可复现实验为主要参考，版本敏感内容会单独标注。
基础教程 · torch.compile · 分布式训练 · 高性能注意力