卓驭 AI Infra 实习

基础知识

1. 大模型推理分为哪几个阶段？各阶段的特点是什么？
2. 算子与 tensor 之间是什么关系？
3. 计算图通常使用什么方式构建？
4. 吞吐量的定义是什么？在推理场景中如何衡量？
5. 如何区分 memory-bound 和 compute-bound？
6. 在模型和算子已经确定的前提下，影响推理速度的因素有哪些？
7. prompt 长度是否会影响推理速度？decode 阶段呢？上下文长度的影响如何？
8. 权重文件如何导入到自行搭建的模型中？

推理优化

9. prefill 阶段有没有加速 KV Cache 生成的方法？
10. prefill 阶段中各 token 之间是否存在依赖关系？能否并行处理？
11. 稀疏化 KV Cache 是否需要修改模型训练流程，还是纯粹的工程优化？
12. 进一步提升大模型推理性能，有哪些可用的技术手段？

工具与方法

13. 如何使用 Nsight 工具辅助性能优化？重点关注哪些指标？
14. 是否关注过计算架构或芯片架构方面的内容？

项目经历

15. 请介绍你的毕业论文研究方向。
16. 请介绍项目中的关键组件和模块设计。