T0 大厂 百度 二面
百度 AI Infra 二面
百度 AI Infra 二面面试真题，涵盖训练优化等方向
训练优化
基础知识 - Transformer 与模型结构
- 请完整描述 Transformer 从输入 token 到输出 logits 的计算流程。
- FFN 层为何采用先升维再降维的结构？这种设计对模型表达能力有何影响？
- MHA、MQA、GQA 在推理阶段的 KV Cache 占用和计算效率方面有什么差异？
- 推理阶段为什么 KV Cache 只缓存 K 和 V 而不缓存 Q？
- RoPE 的核心原理是什么？在长上下文场景下存在哪些局限？
基础知识 - 微调与对齐
- Instruction Tuning 中多轮对话数据训练时，Loss Mask 应如何设计？
- SFT 后模型在特定任务上能力增强但通用能力下降，应如何处理？
- LoRA 的低秩分解为何能近似全参数微调的效果？
- LoRA 的 Rank 设置不当时，模型表现会出现什么现象？
- DPO 训练后模型输出明显变长，在实际系统中如何应对？
- 对齐训练后模型过于保守、频繁拒绝回答，应如何调整训练策略？
- 大模型出现复读机现象通常由哪些因素导致？
基础知识 - RAG 系统
- 知识库数据的清洗与构造流程是怎样的？数据质量不一致会对 RAG 系统产生哪些影响？
- 文档切分策略如何设计？Chunk Size 和 Overlap 的选择会如何影响召回质量与生成效果？
- 用户问题在知识库中确实存在但系统未能召回正确文档，应如何排查？
- 检索到了正确文档但模型生成的答案仍然有误，应如何定位问题？
- 召回结果经常语义相似但事实无关，应如何优化检索模块？
- 一个问题需要跨多个文档才能回答时，RAG 系统应如何处理？
- 如何判断 RAG 系统中的问题出在检索模块还是生成模块？
项目经历
- 围绕项目内容进行深入提问。