星渊问道 · 风谷藏卷
大模型面经 · 问道录
十四章、150 道核心题。每题包含简答、原理、公式或工程案例，以及常见追问和误区。
- 14
- 知识章节
- 150
- 核心问题
- 2026
- 持续校订
配套内容
系统笔记与面试题库
系统笔记按知识结构展开，本页按面试问题整理。两个入口对应同一组大模型主题。
题目索引
搜索题目
支持按题目、章节和主题搜索。
机器学习与深度学习基础交叉熵为什么适合语言模型训练？机器学习与深度学习基础AdamW 与 Adam 的关键区别是什么？机器学习与深度学习基础为什么大模型训练需要学习率预热和衰减？机器学习与深度学习基础梯度消失和梯度爆炸为什么会发生？机器学习与深度学习基础LayerNorm、RMSNorm 与 BatchNorm 有什么区别？机器学习与深度学习基础FP16、BF16 和 FP32 应该怎样选择？机器学习与深度学习基础训练出现 Loss NaN 应该如何系统排查？机器学习与深度学习基础梯度累积与增大全局 Batch 完全等价吗？机器学习与深度学习基础过拟合、欠拟合和数据泄漏如何区分？机器学习与深度学习基础如何估算一次大模型训练的显存组成？Tokenizer 与表示学习BPE 的训练和编码过程是什么？Tokenizer 与表示学习WordPiece、BPE 与 Unigram 有什么区别？Tokenizer 与表示学习SentencePiece 为什么适合多语言与中文？Tokenizer 与表示学习Byte-level tokenizer 的优势和代价是什么？Tokenizer 与表示学习词表大小怎样影响模型效果和成本？Tokenizer 与表示学习特殊 token 与 Chat Template 有什么关系？Tokenizer 与表示学习Embedding 层为什么可以表示语义？Tokenizer 与表示学习输入输出 Embedding 为什么经常共享权重？Tokenizer 与表示学习中文 tokenizer 应该怎样评估？Transformer 与注意力Self-Attention 的完整计算过程是什么？Transformer 与注意力Attention 为什么除以根号 d_k？Transformer 与注意力多头注意力相比单头有什么作用？Transformer 与注意力Causal Mask 与 Padding Mask 有何区别？Transformer 与注意力Self-Attention 与 Cross-Attention 有何区别？Transformer 与注意力Transformer 的时间和空间复杂度怎样分析？Transformer 与注意力RoPE 的核心原理是什么？Transformer 与注意力绝对位置编码、ALiBi 与 RoPE 如何比较？Transformer 与注意力MQA、GQA 与 MHA 的区别是什么？Transformer 与注意力FFN 为什么先升维再降维？Transformer 与注意力Pre-LN 与 Post-LN 有什么训练差异？Transformer 与注意力KV Cache 的原理是什么？Transformer 与注意力训练阶段和自回归推理的 Attention 有何不同？Transformer 与注意力局部、滑动窗口与块稀疏注意力解决什么？Transformer 与注意力长上下文“支持 128K”应该怎样验证？Transformer 与注意力Attention 是否等于模型的解释？模型架构与 Scaling为什么主流通用 LLM 多采用 Decoder-only？模型架构与 ScalingEncoder-only、Encoder-Decoder 与 Decoder-only 如何选？模型架构与 ScalingScaling Law 说明了什么？模型架构与 ScalingChinchilla Scaling 的核心结论是什么？模型架构与 ScalingDense 模型与 MoE 模型怎样比较？模型架构与 ScalingMoE Router 如何工作？模型架构与 Scaling为什么现代 LLM 常用 SwiGLU？模型架构与 ScalingRMSNorm 为什么在现代 LLM 中常见？模型架构与 Scaling模型宽度、深度和头数怎样权衡？模型架构与 Scaling现代开源模型技术报告应该怎样阅读？预训练数据与优化Causal Language Modeling 的训练目标是什么？预训练数据与优化预训练语料需要哪些清洗步骤？预训练数据与优化为什么去重对大模型训练重要？预训练数据与优化数据混合比例怎样确定？预训练数据与优化预训练数据污染如何检测？预训练数据与优化Packing 为什么能提高训练效率？预训练数据与优化学习率、Batch 与 Token 数怎样联动？预训练数据与优化混合精度训练怎样保证稳定？预训练数据与优化Gradient Checkpointing 的原理是什么？预训练数据与优化训练中断后怎样正确恢复？预训练数据与优化怎样判断预训练是否正常？分布式训练数据并行的工作流程是什么？分布式训练张量并行如何拆分 Transformer？分布式训练流水线并行为什么会有 Bubble？分布式训练ZeRO 三个阶段分别分片什么？分布式训练FSDP 与 ZeRO-3 有什么关系？分布式训练序列并行和上下文并行解决什么？分布式训练如何组合 3D 并行？分布式训练通信为什么会成为训练瓶颈？分布式训练分布式训练 Hang 应怎样排查？分布式训练如何验证分布式训练正确性？SFT 与参数高效微调SFT 在大模型后训练中做什么？SFT 与参数高效微调SFT 数据如何构造与清洗？SFT 与参数高效微调全参微调与 PEFT 怎样选择？SFT 与参数高效微调LoRA 的核心原理是什么？SFT 与参数高效微调LoRA 的 r、alpha 与 dropout 怎样调？SFT 与参数高效微调LoRA 应该注入哪些层？SFT 与参数高效微调QLoRA 的三项关键技术是什么？SFT 与参数高效微调Prefix Tuning 与 Prompt Tuning 有何区别？SFT 与参数高效微调微调学习率为什么通常不同于预训练？SFT 与参数高效微调多轮对话 SFT 的 Loss Mask 怎样设计？SFT 与参数高效微调如何评估一次微调是否真正有效？SFT 与参数高效微调LoRA 适配器怎样部署与合并？对齐与推理能力RLHF 的完整流程是什么？对齐与推理能力偏好数据应该怎样收集？对齐与推理能力奖励模型怎样训练？对齐与推理能力PPO 在 RLHF 中优化什么？对齐与推理能力优势函数为什么比直接奖励更合适？对齐与推理能力KL 约束在后训练中有什么作用？对齐与推理能力DPO 为什么不需要显式奖励模型？对齐与推理能力DPO 的 beta 控制什么？对齐与推理能力GRPO 与 PPO 的主要区别是什么？对齐与推理能力规则奖励与模型奖励怎样组合？对齐与推理能力Reward Hacking 是什么？对齐与推理能力过程监督与结果监督如何比较？对齐与推理能力推理模型的 Test-Time Compute 是什么？对齐与推理能力后训练怎样防止能力回退？推理与服务优化大模型推理为什么分 Prefill 和 Decode？推理与服务优化KV Cache 显存怎样估算？推理与服务优化FlashAttention 为什么更快？推理与服务优化PagedAttention 解决了什么问题？推理与服务优化Continuous Batching 是什么？推理与服务优化吞吐、TTFT、TPOT 和并发怎样权衡？推理与服务优化权重量化与 KV Cache 量化有何区别？推理与服务优化GPTQ、AWQ 与 SmoothQuant 思路有何差异？推理与服务优化投机解码为什么能保持目标分布？推理与服务优化Tensor Parallel 怎样影响推理延迟？推理与服务优化Prefix Cache 能带来什么收益？推理与服务优化推理 OOM 应怎样定位？推理与服务优化在线服务怎样做容量规划？推理与服务优化如何公平评测两个推理框架？RAG 与检索系统RAG 是什么，为什么不只靠模型参数？RAG 与检索系统文档切分 Chunk 应怎样设计？RAG 与检索系统Embedding 模型怎样选择？RAG 与检索系统向量相似度用余弦、点积还是 L2？RAG 与检索系统BM25 为什么仍然重要？RAG 与检索系统混合检索怎样融合结果？RAG 与检索系统Rerank 为什么有效？RAG 与检索系统查询改写和 Multi-Query 有什么作用？RAG 与检索系统Metadata Filter 应放在哪个阶段？RAG 与检索系统向量数据库和 FAISS 怎样选择？RAG 与检索系统HNSW 的核心原理是什么？RAG 与检索系统RAG 上下文怎样组织？RAG 与检索系统RAG 如何端到端评测？RAG 与检索系统RAG 效果不好怎样系统排查？Agent 与工具调用什么是 LLM Agent？Agent 与工具调用ReAct 的核心思想是什么？Agent 与工具调用工具调用 Schema 为什么重要？Agent 与工具调用规划与执行为什么要分离？Agent 与工具调用Agent 记忆有哪些类型？Agent 与工具调用Agent 如何处理工具失败？Agent 与工具调用多 Agent 系统什么时候有价值？Agent 与工具调用如何评测 Agent？评测、安全与幻觉大模型评测为什么需要多维指标？评测、安全与幻觉Benchmark 数据污染怎样影响结论？评测、安全与幻觉LLM-as-Judge 的优点与偏差是什么？评测、安全与幻觉幻觉可以怎样分类？评测、安全与幻觉怎样降低事实性幻觉？评测、安全与幻觉Prompt Injection 为什么是系统问题？评测、安全与幻觉越狱与正常鲁棒性测试怎样区分？评测、安全与幻觉模型上线后怎样持续监控？多模态大模型视觉语言模型通常由哪些部分组成？多模态大模型图像如何变成视觉 Token？多模态大模型模态连接器有哪些形式？多模态大模型多模态预训练与指令微调如何衔接？多模态大模型多模态幻觉为什么发生？多模态大模型OCR 与文档理解为什么困难？多模态大模型多模态模型怎样评测？编程与系统设计题如何手写一个带 Mask 的多头注意力？编程与系统设计题如何估算模型参数量与训练显存？编程与系统设计题如何设计企业知识库 RAG？编程与系统设计题如何设计高吞吐 LLM 推理服务？编程与系统设计题如何定位一次线上回答质量下降？编程与系统设计题如何为微调项目设计实验？编程与系统设计题系统设计题应该怎样组织回答？
十四章题库
从基础原理到系统设计
章节按大模型算法岗的常见知识结构排列，也可以通过上方索引直接定位题目。
0110 题 · 深度学习 / 优化器 / 归一化
机器学习与深度学习基础
从损失函数、优化器、归一化与梯度稳定性出发，建立回答大模型训练问题所需的共同底座。
进入本章 →029 题 · Tokenizer / Embedding / BPETokenizer 与表示学习
理解文本如何变成 token 与向量，以及词表、切分和表示学习如何影响中文能力、效率与评测。
进入本章 →0316 题 · Transformer / Attention / RoPETransformer 与注意力
从缩放点积注意力走到 RoPE、GQA、Mask、长上下文与复杂度，回答 Transformer 最核心的追问。
进入本章 →0410 题 · Decoder-only / MoE / Scaling Law模型架构与 Scaling
理解 Decoder-only、MoE、Scaling Law 与现代模型结构选择背后的能力、计算和部署权衡。
进入本章 →0511 题 · 预训练 / 数据治理 / 优化预训练数据与优化
覆盖预训练目标、数据治理、采样、去重、课程与训练稳定性，理解“数据 × 计算 × 优化”的完整系统。
进入本章 →0610 题 · 分布式训练 / ZeRO / FSDP分布式训练
掌握数据、张量、流水线与序列并行，以及 ZeRO/FSDP、通信瓶颈和分布式故障定位。
进入本章 →0712 题 · SFT / LoRA / QLoRASFT 与参数高效微调
从监督微调数据到 LoRA、QLoRA 与软提示方法，理解参数、显存、质量和部署之间的取舍。
进入本章 →0814 题 · RLHF / PPO / DPO对齐与推理能力
连接 SFT、奖励模型、RLHF、PPO、DPO、GRPO 与推理训练，理解目标、数据和稳定性的边界。
进入本章 →0914 题 · 推理优化 / KV Cache / 量化推理与服务优化
围绕 prefill、decode、KV Cache、FlashAttention、PagedAttention、量化与在线调度建立完整性能模型。
进入本章 →1014 题 · RAG / 向量检索 / RerankRAG 与检索系统
从切分、Embedding、混合检索和 Rerank 走到生成、评测与系统化排障。
进入本章 →118 题 · Agent / ReAct / 工具调用Agent 与工具调用
理解 ReAct、规划、工具协议、记忆与错误恢复，区分可控工作流和开放式 Agent。
进入本章 →128 题 · 评测 / 安全 / 幻觉评测、安全与幻觉
建立可信评测体系，识别数据污染、裁判偏差、幻觉与提示注入等风险。
进入本章 →137 题 · 多模态 / 视觉语言模型 / 对齐多模态大模型
覆盖视觉编码、模态对齐、融合、训练、幻觉与多模态评测。
进入本章 →147 题 · 编程题 / 系统设计 / 容量估算编程与系统设计题
把知识落到代码、容量估算、RAG 与推理服务设计，训练结构化澄清和权衡表达。
进入本章 →单题结构
每道题包含什么
- 30 秒简答概括结论、主要原因和适用边界。
- 原理与案例补充公式、数据流、复杂度和工程取舍。
- 追问与误区列出相关问题和回答中容易遗漏的部分。
资料来源
技术结论的核对范围
公开面经用于识别高频问题，技术结论回到论文、技术报告和官方文档核对。页面不使用无法验证的公司真题标签，也不大段复制他人文章。
Transformer · LoRA · RAG · PagedAttention · DeepSeek-R1 · Qwen3