跳到主要内容
T0 大厂 阿里巴巴 一面

阿里巴巴 控股集团 AI Infra 一面

阿里巴巴 AI Infra 一面面试真题,涵盖高性能计算等方向

高性能计算

基础知识

  1. 阐述 Expert Parallelism 中 Dispatch 和 Combine 的具体流程。
  2. DeepSeek 系列模型的架构有哪些特点?
  3. 在 Tensor Parallelism 中,AllReduce 操作需要执行多少次?如何推导?
  4. 如何计算 KV Cache 的显存占用大小?
  5. vLLM 近期有哪些值得关注的新特性?

编程题

  1. 手写 MQA 和 GQA 的实现。