模块四：推理优化

理解 LLM 自回归生成的 Prefill/Decode 两阶段、KV Cache 机制和推理关键性能指标

掌握 PagedAttention、Continuous Batching、Prefix Cache、Chunked Prefill 与 Attention 后端及图优化五大推理引擎核心技术

以约 1200 行的极简推理引擎 nano-vllm 为主线，逐模块读懂连续批处理、PagedAttention、FlashAttention、张量并行与 CUDA Graph 在真实代码里的组织方式

掌握 W8A8(SmoothQuant)、INT4(GPTQ/AWQ)、KV Cache 量化和 FP8 量化的原理与选型决策

理解 Draft + Verify 与保分布采样，比较独立 Draft、N-gram/Suffix、Medusa/EAGLE-2/3，并掌握收益边界与 vLLM 对照实验

掌握推理场景下的张量并行、流水线并行、数据并行与专家并行，以及基于 Ray 的多节点部署

理解 P/D 混合 Batching 的问题、DistServe/Splitwise 等解耦方案、KV Cache 传输、Goodput 与 SLO 感知调度

建立完整的推理性能指标体系，掌握 vllm bench、GenAI-Perf 等压测工具和性能分析工具，制定性能回归门禁

理解端侧推理的资源约束、异构硬件、运行时与优化方法，并建立可复现的性能评测流程