面试资料 · 风谷笔记
【面试真题】大模型算法面试1000题
大模型学习专题入口：零基础逐章笔记与十四章、150 道面试题并行，并保留旧版 PDF 供对照查阅。
现在有两条彼此独立的阅读路径：零基础可以先按章节读“大模型从零学习笔记”，已经学过基础后，再进入十四章、150 道题的“问道录”查漏补缺。
新版内容
- 基础与架构：深度学习、Tokenizer、Transformer、MoE 与 Scaling Law。
- 训练与对齐：预训练数据、分布式训练、LoRA／QLoRA、RLHF、DPO 与 GRPO。
- 工程与系统：推理服务、量化、RAG、Agent、评测安全、多模态与系统设计。
- 全部技术结论优先回到论文、技术报告或官方文档核对，不使用无法验证的公司真题标签。
旧版 PDF
下面的 66 页 PDF 是早期整理稿，保留用于对照；部分内容和结构已经由网页版更新，复习时应以网页版为准。
旧版内容概览
- 深度学习基础：降维、Loss NaN、FFN 与激活函数。
- 注意力机制：手写注意力、PagedAttention、MHA 复杂度、缩放因子与分块注意力。
- Transformer：循环神经网络与 Transformer 的对比、旋转位置编码、绝对／相对位置编码及多头结构。
- 大模型基础及相关训练、推理与工程问题。
旧版使用方式
建议先按目录定位薄弱主题，再结合题目逐项口述答案。遇到公式、实现细节或工程结论时，可继续回到论文、官方文档与可复现实验中核对。