T5 其他 小厂 实习
小厂 AI Infra 实习 (4)
小厂 AI Infra 实习面试真题,涵盖推理优化、算子优化等方向
推理优化 算子优化
项目经历
- 介绍过往部署相关的项目经验。
- 项目中使用了 TensorRT 进行量化,采用的是 PTQ 方案吗?为何选择 TensorRT 进行量化?项目对推理速度有何具体要求?
- 描述使用 CUDA 加速图像预处理的具体实现方法,采用了哪些优化策略?
- 请举例说明分析和优化 CUDA 算子的实际案例(如向量化读取未产生加速的原因分析)。
- 为何选用 RK3588 芯片?描述环境搭建及模型部署的完整流程。
基础知识
- 阐述 GPU 的内存层级结构,包括 L1 Cache、共享内存、L2 Cache 的特点与作用。
- 共享内存的优化方式有哪些?什么是 Bank Conflict?
- 是否了解 ARM 平台相关的性能优化方法?
- 简述 ByteTrack 算法的匹配流程。
编程题
- 使用 CUDA 实现 100 万个浮点数的求和操作,描述实现思路。