跳到主要内容
T1 大厂/独角兽 华为 实习

华为 AI Infra 实习 (2)

华为 AI Infra 实习面试真题，涵盖推理优化、训练优化、算子优化、高性能计算等方向

推理优化 训练优化 算子优化 高性能计算

推理优化

  1. 部署模型与推理模型时所需的参数量分别如何估算？
  2. 模型推理中 Prefill 阶段与 Decoding 阶段的区别是什么？KV Cache 的大小如何计算？
  3. 模型中的超参数 Temperature 的数学原理是什么？Temperature、Top-k、Top-p 三个参数的作用顺序是怎样的？
  4. Softmax 函数的定义与计算过程是什么？

训练优化

  1. DeepSpeed 框架中 ZeRO Stage 1、2、3 分别优化了什么？各阶段的区别是什么？
  2. 假设需要对矩阵乘法 A x B 进行分布式计算，给定 4 张卡，请描述如何分配矩阵 A、B 的参数，并通过卡间通信实现显存节省。

高性能计算

  1. 对通信算子有哪些了解？常见的集合通信原语有哪些？