腾讯 AI Infra 实习 一面 (2)

项目经历

1. 介绍实习期间的工作内容与项目经验，以及离职原因

推理优化

2. MoE 架构为何能在参数量极大的情况下控制训练和推理成本，其真正的技术难点在哪里
3. MoE 中的负载均衡通常采用哪些方法，为何部分模型 loss 表现正常但 expert 已经退化
4. GQA、MQA 与标准 MHA 的核心区别是什么，线上推理场景中为何更关注 GQA
5. RoPE 位置编码的工作原理是什么，长上下文外推时为何容易出现失真
6. FlashAttention 的加速原理是什么，其优化的核心瓶颈是算力还是访存