跳到主要内容
T0 大厂 阿里巴巴 实习

阿里巴巴 AI Infra 实习 (1)

阿里巴巴 AI Infra 实习面试真题，涵盖AI Infra等方向

基础知识

  1. 请阐述 MHA、GQA 与 MLA 三种注意力机制的核心区别及各自适用场景。
  2. 针对 MoE 模型和多模态模型的训练过程，目前还有哪些可以优化的方向？
  3. 大模型预训练与强化学习训练在工程实践层面，还存在哪些值得优化的环节？

项目经历

  1. 详细介绍你的项目经历，重点说明技术方案与实现细节。

编程题

  1. 实现二叉树的层序遍历。
  2. 手写 Multi-Head Attention 的实现。