跳到主要内容
T1 大厂/独角兽 华为

华为 AI Infra (2)

华为 AI Infra 面试真题，涵盖训练优化、高性能计算等方向

训练优化 高性能计算

训练优化

  1. 请介绍 LAMB 优化器的原理与特点。
  2. 增大 batch size 时学习率应如何调整？若模型规模很大但 batch size 不变，又应如何处理？
  3. 列举所了解的并行切分策略。
  4. 请介绍 ZeRO 的核心思想与各阶段的区别。
  5. 在流水线并行（PP）模式下，每张卡的显存占用与计算量是否相同？激活值的分布情况如何？
  6. 3D 并行的组合方式与适用场景是什么？

高性能计算

  1. DCU 与华为 AI 加速卡在架构、生态及通信库方面有哪些差异？
  2. DDP 与 DeepSpeed 中的异步保存机制分别是如何实现的？

项目经历

  1. 详细介绍千卡训练项目的技术方案与实现细节。
  2. 异步保存方面做了哪些工作？

基础知识

  1. T5 与 GPT-2 在架构上有哪些主要差异？
  2. Transformer 的整体结构是怎样的？
  3. 残差连接在深度网络中起什么作用？