推理服务器选型指南

概览

推理服务器选型的核心不是“哪张卡更强”，而是目标模型在真实上下文、真实并发和真实服务框架下能否稳定交付。

企业常见推理场景包括 LLM API、RAG 生成层、Embedding 服务、reranker、多模型路由和传统深度学习模型服务。不同场景对 GPU、CPU、内存、网络和软件栈要求不同。

官方可确认的信息

vLLM 官方文档强调 LLM Serving、PagedAttention 和服务化能力。TensorRT-LLM 官方文档强调 NVIDIA GPU 上的大语言模型推理优化。Triton Inference Server 官方文档面向多框架模型服务。Kubernetes 官方文档说明可以调度 GPU 工作负载。

这些信息说明推理服务器选型必须同时考虑硬件和推理框架。

先确定 5 个输入

1. 模型规模和精度：例如 7B、14B、32B、70B，BF16、INT8、INT4；
2. 最大上下文长度：上下文越长，KV Cache 越大；
3. 峰值并发和目标延迟：决定副本数和批处理策略；
4. 输出长度：长输出会显著拉高服务占用；
5. 框架路线：vLLM、TensorRT-LLM、Triton 或组合方案。

典型服务器路线

1. 单卡或双卡推理节点

适合小模型、低并发、POC、内部工具和轻量 RAG。

2. 4-GPU 推理服务器

适合企业部门级推理服务、多模型部署、RAG 生成层和中高并发 API。

3. 8-GPU 高端推理节点

适合高参数模型、长上下文、高吞吐或多租户平台。但如果只是多副本服务，未必比多台 4-GPU 节点更经济。

GPU 选择思路

• L40S：适合高性价比推理、多模态和中等规模服务；
• H100：适合高端推理、低延迟和生产稳定性；
• H200：适合显存和长上下文压力更高的场景；
• RTX 6000 Ada：适合工作站、本地验证和开发环境；
• MI300X：适合高显存需求，但要验证 ROCm 和框架兼容性。

工程估算说明

以下不是官方固定配置，而是推理 sizing 口径：

• 显存估算要同时包含模型权重、KV Cache、batch、框架开销和安全冗余；
• 单请求能跑通不代表生产可用，必须压测并发、首 token 延迟、输出吞吐和失败率；
• 如果 RAG 系统把 Embedding、reranker、生成模型混在一起估算，通常会买错资源；
• 如果需要多租户平台，Kubernetes、GPU Operator、监控和网关也要纳入规划。