后摩智能 AI Infra 实习

基础知识

1. 梯度下降的基本原理是什么？如何通过链式法则进行求导？
2. ReLU 激活函数在零点处的导数如何定义？
3. Softmax 函数的实现方式是什么？如何处理数值溢出问题？

推理优化

4. 介绍 AdaQuant 量化方法的核心思想。
5. 介绍 I-ViT 量化方法的技术要点。