T5 其他 米哈游 实习 二面
米哈游 AI Infra 实习 二面
米哈游 AI Infra 实习二面面试真题，涵盖AI Infra等方向
以下为米哈游 AI Infra 实习二面考察内容。
项目经历
- 项目深入提问
基础知识
- 概述大模型的主要结构特征
- 注意力机制在大模型中的工作原理及其作用
- 大模型训练中常见的优化算法有哪些，各自有何优缺点
- 训练过程中出现梯度消失或梯度爆炸时应如何处理
- 在模型设计中如何平衡模型复杂度与性能表现
- 面对大模型训练与推理所需的大规模计算资源，有哪些可行的解决方案
模型评估与优化
- 评估大模型性能时常用的指标有哪些
- 针对大模型进行性能和效率优化的具体方法
- 请结合实际经验描述一个使用或开发大模型的案例
对齐与安全
- Reward Bench 上的 Reward Model 分为哪几类
- Reward Model 的训练流程与训练目标是什么
- DPO 训练的损失函数与训练目标，DPO 相较于 RLHF 的改进点
- 如何理解大模型安全，涉及哪些方面的内容