跳到主要内容
T0 大厂 字节跳动 实习 一二三面

字节跳动 AI Infra 实习 一二三面

字节跳动 AI Infra 实习一二三面面试真题，涵盖推理优化、训练优化、算子优化等方向

推理优化 训练优化 算子优化

一面

项目经历

  1. 请介绍你参与的 Efficient Transformer 相关研究工作。

基础知识

  1. CPU cache 中每条 cache line 由哪三部分组成？各自的作用是什么？
  2. 为什么需要设计多级缓存？
  3. 发生 cache miss 后，硬件的处理流程是什么？
  4. 页表机制引入的性能开销有哪些？如何缓解？
  5. 页表机制带来了哪些好处？
  6. C++ 中函数重载的机制是什么？编译器如何实现？
  7. C++ 中原子操作的概念及其引入的原因是什么？

编程题

  1. 棋盘连通性判断：判断棋盘第一行到最后一行是否连通。

二面

项目经历

  1. 请深入介绍 Efficient Transformer 的相关研究。

基础知识

  1. Sparse Attention 的 Python kernel 如何实现？
  2. 大模型分布式训练中有哪些常见的并行策略？
  3. 模型训练和推理中显存占用过高时有哪些应对方案？（如稀疏化、梯度检查点、量化推理、混合精度训练、模型蒸馏等）
  4. 如何编写 GPU 并行计算相关代码？

编程题

  1. 给定完整的 Graph 类定义，实现拓扑排序函数。

三面

项目经历

  1. 请介绍你提出的 Sparse Attention 机制的创新点。
  2. Efficient Attention、MoE、分布式训练等技术在工业场景中的实际效果如何？

基础知识

  1. C++ 多态机制中，虚函数表的函数地址在何时确定？对象的虚表指针在何时被赋值？
  2. C++ 中如何释放 vector 已分配的内存？
  3. 设计一个数据结构，支持栈的全部操作，并能在 O(1) 时间内获取当前最小值。

编程题

  1. 下一个排列（LeetCode 31）。