vLLM

概览

vLLM 是一个面向大语言模型推理和服务化部署的开源引擎，特点是高吞吐、较好的模型生态适配能力，以及便于接入应用系统的服务接口。

在很多企业和团队的实际部署中，vLLM 之所以流行，不只是因为“能跑模型”，而是因为它在开放模型部署、性能优化和工程可用性之间取得了较好的平衡。

核心定位

• 面向对象：开源 LLM 推理与服务化
• 典型能力：高吞吐、OpenAI 兼容接口、多模型支持
• 代表性特征：PagedAttention、连续批处理、服务端 API 能力

为什么它重要

开放模型部署友好

对于 Qwen、DeepSeek、Llama 等开源模型，vLLM 往往是最常见的推理部署选择之一。

工程上容易接入

vLLM 的常见价值在于它能够较快形成服务接口，便于企业将模型能力接入业务系统、RAG 系统或内部 API 网关。

典型使用场景

企业模型服务

部署开源大模型、量化模型、多副本推理和内部 API 服务。

RAG 与知识问答

当组织希望快速把开源模型接到文档问答、企业知识库和 Copilot 应用中时，vLLM 是常见候选。

多模型实验平台

也适合做模型评估、快速验证和推理栈对比测试。

与 TensorRT-LLM 的关系

vLLM 与 TensorRT-LLM 都服务于 LLM 推理，但侧重点不同：

• vLLM 更强调开放模型生态、易接入和服务化能力
• TensorRT-LLM 更强调 NVIDIA 平台的深度性能优化

二者不是简单的“谁绝对更好”，而是取决于硬件条件、性能目标和团队运维能力。

部署关注点

• 不同模型、量化方式和上下文长度会显著影响显存占用
• 服务化部署时需要综合考虑并发、KV Cache、吞吐与延迟
• GPU、驱动、CUDA、PyTorch 版本需要成套验证

发布复核说明

本条目已按 vLLM 官方文档与 GitHub 仓库做发布前复核，可作为开源 LLM Serving 的一级入口。

• 发布边界：本文只说明定位和工程取舍，不承诺某个模型、量化方式或 GPU 组合一定可用。
• 选型延伸：如果目标是 NVIDIA 平台极致性能优化，应同时评估 tensorrt-llm。
• 本地资产：assets/diagrams/llm-inference-serving-stack.md。

后续可补充

• 补充 PagedAttention 和连续批处理的工程解释
• 补充 Qwen / DeepSeek 常见部署组合建议