跳到主要内容
T1 大厂/独角兽 蚂蚁 校招 一面

蚂蚁 AI Infra 校招 一面

蚂蚁 AI Infra 校招一面面试真题,涵盖推理优化等方向

推理优化

基础知识

  1. MLA(Multi-head Latent Attention)相比 MHA 的优势体现在哪些方面?
  2. 权重吸收(Weight Absorption)过程中可能遇到哪些问题?
  3. KV Cache 的离线预计算方案是什么?对于低频使用的 KV Cache,如何进行卸载与加载?
  4. 除上述方法外,还有哪些 KV Cache 优化的技巧?

项目经历

  1. 深入介绍项目与实习经历。