AI GPU参数怎么看？算力、显存与显存带宽选型指南

先给结论

看AI GPU规格表，可以先抓住算力、显存容量、显存带宽三个核心指标：算力描述计算上限，显存容量决定能放下多少模型与运行时状态，显存带宽决定GPU与显存之间搬运数据的速度。

但真正的AI服务器选型还要继续看GPU间互联、PCIe/主机路径、网络、功耗散热和软件生态。三项核心指标适合做第一轮筛选，不是完整的采购结论。

算力、显存、显存带宽分别回答什么问题

指标	回答的问题	常见单位	典型风险
计算能力	单位时间理论上能完成多少特定类型运算	TFLOPS / PFLOPS / TOPS	把不同精度或Dense/Sparse混在一起比较
显存容量	一张卡/一个加速器能容纳多少权重、缓存和工作空间	GB / GiB	只按模型权重估算，忽略KV Cache与运行时
显存带宽	计算单元从显存读取/写回数据的理论速率	GB/s / TB/s	把显存带宽与NVLink/PCIe互联带宽混为一谈

算力：先看“什么精度下的算力”

AI GPU通常同时列出FP64、FP32/TF32、BF16/FP16、FP8、FP4或INT8等不同数值格式。比较时先统一精度与计算路径，再确认厂商是否展示了结构化稀疏峰值。

• 训练通常更关注目标模型支持的BF16/FP16/FP8等矩阵计算能力，同时要验证数值稳定性和框架支持。
• 量化推理可能关注FP8、FP4、INT8/INT4等低精度路径，但必须把量化格式、模型质量和算子支持一起验证。
• 峰值算力只能说明硬件上限；若模型受内存或通信限制，再高的理论算力也可能无法被充分利用。

显存容量：决定模型能不能放下，以及能服务多少运行时状态

显存并不等于HBM。数据中心AI GPU常使用HBM/HBM3e等高带宽内存，部分GPU则使用GDDR；因此应把“GPU显存”视为功能概念，再看具体产品采用哪一种内存技术。

对LLM推理，显存至少要容纳模型权重、KV Cache、运行时/框架工作区、通信缓冲和一定的碎片/安全空间。对训练，还会增加激活、梯度和优化器状态等，因此同一个70B模型的“推理显存”和“训练显存”不能用一套简单公式。

NVIDIA H200官方规格给出141GB GPU显存；这类更大显存的直接价值首先是提高单卡/单节点可容纳的权重、缓存和Batch空间，而不是自动意味着所有工作负载都按容量比例提速。

显存带宽：为什么大模型Decode尤其值得关注

显存带宽表示GPU计算单元与本地显存之间的理论数据传输能力。以H200为例，NVIDIA官方给出141GB HBM3e、4.8TB/s显存带宽，并把更大、更快的内存作为Hopper平台升级重点之一。

大模型自回归Decode每生成一个token都要反复读取大量权重和缓存数据。在Batch较小、算术强度较低时，显存带宽更容易成为主要瓶颈；随着Batch、并发、投机解码、量化与具体内核改变，瓶颈位置也会变化。因此“带宽越大=tokens/s按比例增加”同样不成立。

不要混淆	连接的对象	作用
显存带宽	GPU计算单元 ↔ 本地HBM/GDDR	影响本地权重、激活、KV Cache等数据访问
NVLink/专有互联	GPU/NPU ↔ GPU/NPU	影响张量并行、专家并行等跨加速器通信
PCIe带宽	GPU ↔ CPU/主机I/O及部分P2P路径	影响主机交换、设备连接与部分GPU间路径
节点网络	服务器 ↔ 服务器/共享存储	影响多节点训练、推理和数据访问

训练、Prefill、Decode与长上下文，侧重点并不完全一样

场景	优先关注	为什么
大模型训练	目标精度算力 + GPU互联 + 显存容量/带宽 + 多节点网络	训练包含大规模矩阵计算与频繁梯度/参数通信
LLM Prefill	矩阵计算能力 + 显存带宽/容量	长输入需要处理大量token，通常计算密度较高
LLM Decode	显存带宽 + KV Cache容量 + 低精度算力 + 调度	逐token生成时更容易受到权重与缓存访问限制
长上下文/高并发推理	显存容量 + KV Cache管理 + 带宽	上下文与并发会放大缓存占用和读写压力
多GPU/MoE	GPU间互联 + 显存/算力 + 通信软件栈	跨卡All-Reduce、All-to-All等通信可能成为主要约束

为什么最终选型还必须看互联、功耗和软件生态

三项参数只描述单GPU的核心资源。AI服务器是系统工程，还至少需要检查：

• GPU间互联：是否有NVLink/NVSwitch或目标平台的专有互联，拓扑是否覆盖计划的张量/专家并行。
• PCIe与CPU/NUMA：多GPU、多NIC、多NVMe能否获得足够I/O通道，数据路径是否跨NUMA。
• 网络与存储：多节点训练/推理需要把节点间网络和共享数据路径纳入容量设计。
• 功耗与散热：按具体整机系统功耗、供电和冷却要求核算，不能从单GPU TDP直接推出“必须液冷”。
• 软件生态：驱动、运行时、PyTorch/推理框架、量化格式、通信库和目标模型算子必须在同一版本组合中验证。

NVIDIA DGX B200官方页面就同时给出GPU总显存/带宽、Tensor Core性能、NVLink、系统功耗、CPU、网络与存储。这也说明“看GPU参数”最终必须回到整机和集群级设计。

企业看一张GPU规格表，建议按这个顺序

1. 确认具体产品形态：同一GPU名称可能有SXM、PCIe、NVL或不同整机形态，规格不能混用。
2. 确认目标数值精度和Dense/Sparse口径，不用“最大算力”替代真实精度需求。
3. 看显存容量是否能覆盖权重、KV Cache/训练状态、工作区和安全余量。
4. 看显存带宽是否匹配目标工作负载的数据访问特征。
5. 看GPU间互联、PCIe、网络与存储是否支撑多卡/多节点扩展。
6. 核对整机功耗、散热、机柜和PDU条件。
7. 最后用目标模型、目标框架和真实输入/输出分布做PoC，形成SLA下的容量结论。

赋创可以在项目中提供哪些支持

赋创可结合客户的目标模型、业务任务、现有软硬件环境和机房条件，协助把公开规格转化为可验证的AI服务器/集群候选方案，并通过模型适配、容量计算、软硬件兼容与PoC确认最终边界。涉及性能、卡数、并发或迁移收益时，以明确测试条件和实测结果为依据，不把理论峰值、路线图或厂商样例直接等同于客户生产配置。

FAQ｜常见问题

GPU显存就是HBM吗？

不是。显存是GPU可直接使用的本地内存概念，具体产品可能采用HBM/HBM3e，也可能采用GDDR等内存技术。

显存越大，模型推理一定越快吗？

不一定。更大显存主要提升可容纳模型、KV Cache和并发状态的空间；速度还取决于显存带宽、计算能力、互联、模型结构和软件实现。

显存带宽和NVLink带宽是一回事吗？

不是。显存带宽是GPU与本地显存之间的带宽，NVLink等互联带宽描述GPU之间的数据传输能力，解决的是不同数据路径。

FP8算力更高就一定应该用FP8吗？

不一定。还要确认目标GPU、框架和模型是否支持对应FP8路径，并对模型质量、算子覆盖和端到端性能做验证。

AI服务器选型只看算力、显存和带宽够吗？

不够。三项适合第一轮筛选；正式方案还必须检查互联、PCIe/NUMA、网络、存储、功耗散热、软件兼容与PoC结果。

方案咨询

需要把方案落到实际配置？

联系赋创获取算力、软件栈和交付路径建议。

咨询方案浏览指南