B站 AI Infra 实习 一面

理论问答

1. 进程、线程和协程三者的定义分别是什么？它们在资源占用与调度方式上有哪些关键差异？
2. 在 CPU 调度中，以进程为单位和以线程为单位进行调度时，公平性方面会产生哪些不同的影响？
3. 分布式训练中常用的集合通信操作 All-Reduce、All-Gather、All-to-All 分别完成了什么数据交换？各自适用于哪些并行策略？
4. 如何利用 profiling 工具来判断一个 GPU 算子的性能瓶颈在于访存还是计算？有哪些通用的优化思路？
5. 当确认算子的瓶颈类型后，有哪些针对性的调优手段？例如提升访存连续性、精简计算逻辑、调整 block 尺寸等方面应如何考虑？

项目深挖

6. 围绕你参与的优化相关工作进行详细提问

现场编程

7. CUDA 编程题：对一个大规模数组执行求和归约，要求使用 Shared Memory 进行块内归约，并通过多级 kernel 完成全局汇总