跳到主要内容
T5 其他 荣耀 校招 二面

荣耀 AI Infra 校招 二面

荣耀 AI Infra 校招二面面试真题，涵盖推理优化等方向

推理优化

以下为荣耀 AI Infra 校招二面考察内容。

推理优化

  1. LLM 在 NPU 上进行推理时的主要性能瓶颈
  2. Prefill 阶段与 Decoding 阶段各自的 Matmul 优化策略
  3. 分块计算中如何保证数据在缓存中的连续性
  4. 昇腾 NPU 架构对 Transformer 类模型的适配性如何

场景题

  1. 量化后的大模型（如 INT8/INT4）在运行时的内存占用约为多少