第8章：生产级服务特性

本章简介

前几章聚焦”跑得快、装得下”，但真实业务把模型接进产品时，往往卡在另一类需求上：输出必须是合法 JSON、要能调用工具、要在一份权重上服务多个业务的 LoRA、要处理图文混合输入。本章系统梳理 vLLM 面向生产的服务特性——它们不改变推理速度的上限，却决定了模型能不能真正落地。

结构化输出解决”模型输出不可控”的痛点：通过 xgrammar / guidance 后端，用 JSON Schema、正则或语法约束强制模型只生成合法 Token。介绍受约束解码（Constrained Decoding）的原理、cFSM 加速，以及在 vLLM 中开启结构化输出的方式。

Tool Calling 与 Reasoning Parser讲清 vLLM 如何解析模型输出中的工具调用请求与推理过程（如思维链），对接 OpenAI 兼容的 tools / tool_choice 协议，支撑 Agent 应用。

Multi-LoRA 服务针对”一套底座权重 + 多个业务微调”的场景：vLLM 如何在同一引擎中动态加载/切换多个 LoRA Adapter，实现单卡服务多租户，以及对显存和调度的影响。

**多模态推理（VLM）**覆盖图文/音视频等多模态大模型的推理链路：多模态输入预处理、Encoder Cache、图像 Hash 前缀缓存，以及 vLLM 对主流 VLM 的支持。

采样与解码算法梳理 Temperature/Top-p/Top-k、Logprobs、并行采样（n）、Beam Search 等采样参数的语义与工程实现，以及它们对延迟和质量的影响。