TTFT、TPOT、吞吐与并发：大模型推理服务验收指南|赋创

先给结论

推理服务验收不能用一个tokens/s概括。对于流式LLM，至少要同时看TTFT（首token等待）、TPOT/ITL（持续生成节奏）、端到端时延、吞吐、并发/到达率，以及P95/P99尾延迟。

最关键的验收结果不是“最高吞吐”，而是：在约定的请求长度分布和SLA下，系统能稳定承载多少负载。

TTFT、TPOT、ITL、吞吐和并发分别代表什么

NVIDIA当前NIM LLM Benchmarking文档将TTFT定义为从提交请求到收到首个非空输出token的时间；在该文档与AIPerf口径中，ITL（Inter-token Latency）也称TPOT（Time per Output Token），按首token之后相邻输出token的平均间隔统计。其他工具的实现细节可能不同，因此跨工具比较前应先对齐定义。

指标	更直观的含义	主要受什么影响
TTFT	用户等多久看到开始回答	排队、输入长度、Prefill、调度和模型
TPOT / ITL	开始回答后相邻输出token的平均间隔；NVIDIA当前AIPerf口径下两者同义	Decode、Batch、显存带宽、算子、通信和调度
端到端时延	整个请求多久完成	TTFT + 全部生成过程 + 应用链路
输出tokens/s	单位时间系统生成多少输出token	并发、Batch、Decode效率和负载结构
请求/s	单位时间完成多少请求	请求长度与服务容量
并发/到达率	同时在途请求或请求到达强度	排队、Batch、缓存和显存压力
P95/P99	高分位请求有多慢	排队、长请求、资源争用和异常抖动

为什么TTFT、TPOT、吞吐和并发不能分开看

提高并发通常能让GPU获得更高利用率并提高总吞吐，但也可能增加排队、Batch长度和缓存压力，从而让TTFT或尾延迟变差。因此“吞吐最高点”和“体验最优点”通常不是同一个点。

长输入：Prefill工作量增加，TTFT往往更敏感；同样并发下的短问答结果不能代表长文档。
长输出：Decode持续时间更长，会占用调度和KV Cache，更容易与其他请求相互影响。
更高并发：可能提高总tokens/s，同时造成排队和P95/P99恶化。
量化/框架优化：可能改变速度与显存，但也要做模型质量和功能回归，不能只看性能。

企业推理服务验收建议分4组测试

测试组	怎么测	要回答的问题
A. 单请求基线	固定短/中/长输入和典型输出，低并发预热后重复	模型和框架的无排队基线是多少
B. 并发阶梯	逐级提升闭环并发或到达率	TTFT/TPOT/尾延迟从何处开始明显恶化
C. 真实长度分布	按生产或PoC统计的输入/输出分布回放	真实业务容量是多少
D. 长稳与异常	持续压力并覆盖长上下文、超时/取消等异常请求	资源是否漂移，错误与恢复是否可接受

如果业务采用流量到达率模型，可使用服务端场景模拟随机到达；如果采用闭环并发，则应明确客户端会在一个请求完成后再发下一个。两种负载模型不能把“并发数”和“QPS”直接互换。

如何找到SLA下的容量拐点

先定义SLA：例如TTFT、TPOT/ITL、P95/P99、错误率中哪些是硬约束。具体数值来自业务体验目标。
从低负载开始，逐级增加并发或到达率；每档保证足够样本并记录完整分位数。
绘制“负载—TTFT—TPOT—吞吐—P95/P99”关系，观察队列或尾延迟开始快速恶化的位置。
把满足全部SLA约束的最高稳定负载作为容量候选，而不是把绝对最高吞吐当作生产容量。
在候选容量下做持续测试，并用真实长短请求混合流量复测。

NVIDIA AIPerf当前文档也提供以TTFT/ITL SLA、最大并发和goodput为目标的测试方式；工具可以帮助标准化测试，但SLA数值仍由具体业务确定。

任何推理性能数字都应该附带这些测试条件

条件组	至少记录
模型	名称、版本/commit、Tokenizer、Dense/MoE
精度	权重/激活/KV精度、量化方法
框架	推理框架、版本、关键启动参数、容器镜像
硬件	GPU型号/数量/显存、CPU、内存、GPU互联与NIC
软件	驱动、CUDA或其他运行时、通信库
流量	输入/输出长度、并发或到达率、请求分布、流式/非流式
统计	预热、测试时长、样本量、P50/P95/P99、错误请求处理
质量	目标任务的正确性/回归结果，尤其是量化或框架切换后

脱离这些条件的“单卡多少tokens/s”更适合做线索，不适合作为企业采购或验收结论。

赋创可以在项目中提供哪些支持

赋创可结合客户的目标模型、业务任务、现有软硬件环境和机房条件，协助梳理需求、形成候选AI服务器/集群方案，并在目标环境中完成软硬件适配、PoC基线、容量与稳定性验证。涉及性能与资源数量时，以明确测试条件和实测结果为依据，不把单一理论峰值或厂商公开样例直接等同于客户生产配置。

FAQ｜常见问题

TTFT和TPOT有什么区别？

TTFT关注从请求提交到收到第一个输出token的等待时间；TPOT关注首token之后平均每个输出token的生成时间。前者更受Prefill和排队影响，后者更接近Decode阶段的持续生成速度。

TPOT和ITL是同一个指标吗？

在NVIDIA当前NIM Benchmarking/AIPerf文档中，ITL也称TPOT，并按排除首token后的平均token间隔计算。其他工具可能采用不同命名或实现细节，跨工具比较时应先核对定义。

吞吐越高推理体验就越好吗？

不一定。高并发可能提高总吞吐，但同时增加TTFT和尾延迟。生产验收应在SLA约束下看可持续吞吐。

为什么必须记录输入和输出长度？

LLM的Prefill和Decode计算形态不同。输入/输出长度变化会显著改变TTFT、TPOT、缓存占用和吞吐，因此没有长度条件的性能数字不可直接比较。

P95和P99有必要吗？

对于生产服务很有必要。平均值可能掩盖排队、长请求和偶发抖动，高分位更能反映一部分真实用户遇到的慢请求。

方案咨询

需要把方案落到实际配置？

联系赋创获取算力、软件栈和交付路径建议。

咨询方案浏览指南