虾皮 AI Infra 实习 (2)

推理优化

1. vLLM 的核心原理与设计思想
2. 介绍 vLLM、模型量化以及 KV Cache 的优化技巧
3. 如何提升模型的多轮对话能力
4. “packing” 形式与”多轮对话”形式的区别是什么

RAG 相关

5. RAG 应用中如何进行效果评估，具体使用了哪些指标
6. 面向 RAG 场景的生成模型如何进行训练
7. CoT (Chain-of-Thought) 训练数据的构造方法

编程题

8. 编辑距离（LeetCode 72）