阿里巴巴 AI Infra 一面 (1)

基础知识

1. Group Query Attention 的设计动机与作用是什么？
2. MoE 架构中，专家路由是针对每个 token 进行还是针对每个序列进行？
3. 针对 KV Cache 有哪些常见的优化策略？
4. RAG 系统中检索模块的实现方案有哪些？
5. 预训练阶段常用的数据清洗方法有哪些？

项目经历

6. 请阐述你设计的 Agent 系统的整体架构。

编程题

7. 实现一个 LRU Cache。