跳到主要内容
T5 其他 小厂 实习

小厂 AI Infra 实习 (4)

小厂 AI Infra 实习面试真题,涵盖推理优化、算子优化等方向

推理优化 算子优化

项目经历

  1. 介绍过往部署相关的项目经验。
  2. 项目中使用了 TensorRT 进行量化,采用的是 PTQ 方案吗?为何选择 TensorRT 进行量化?项目对推理速度有何具体要求?
  3. 描述使用 CUDA 加速图像预处理的具体实现方法,采用了哪些优化策略?
  4. 请举例说明分析和优化 CUDA 算子的实际案例(如向量化读取未产生加速的原因分析)。
  5. 为何选用 RK3588 芯片?描述环境搭建及模型部署的完整流程。

基础知识

  1. 阐述 GPU 的内存层级结构,包括 L1 Cache、共享内存、L2 Cache 的特点与作用。
  2. 共享内存的优化方式有哪些?什么是 Bank Conflict?
  3. 是否了解 ARM 平台相关的性能优化方法?
  4. 简述 ByteTrack 算法的匹配流程。

编程题

  1. 使用 CUDA 实现 100 万个浮点数的求和操作,描述实现思路。