GPU服务器中的ETH、RDMA、GID与NVLink

先给结论：四个词不在同一层级

在GPU服务器中，ETH、RDMA、GID与NVLink不是四种可以直接横向比较的“高速接口”。ETH通常指Ethernet（以太网）接口或承载网络；RDMA是远程内存访问机制；GID是InfiniBand/RoCE地址体系中的全局标识；NVLink则是NVIDIA面向GPU间高带宽通信设计的扩展互联。

采购时最容易出现两类误判：把“高速以太网端口”当成“RDMA已经可用”，或把“多张GPU”当成“GPU之间一定通过NVLink连接”。前者忽略了网卡能力、RoCE配置、GID、交换网络和软件栈，后者忽略了GPU型号、整机拓扑、NVSwitch及应用并行方式。

更可靠的判断顺序是：先确认通信发生在节点内还是节点间，再确认数据位于主机内存还是GPU显存，最后检查协议、拓扑、软件和端到端配置。这样才能把名词转换为可验收的系统要求。

四个概念如何放进同一张图

概念	所在层级	主要解决的问题	不能直接等同于
ETH / Ethernet	节点间承载网络	服务器、交换机和其他设备如何通过以太网互联	RDMA已启用、RoCE已调通、GPUDirect RDMA可用
RDMA	数据访问与传输机制	远端设备如何直接访问已注册的应用内存，减少CPU参与数据搬运	某一种网线、端口速率或只属于InfiniBand的功能
GID	RDMA地址与路径选择	在InfiniBand/RoCE语境中标识通信端点，并关联GID类型与网络设备	带宽、网卡型号或普通业务IP的简单别名
NVLink	GPU扩展互联	为支持该技术的GPU提供高带宽、低时延GPU间通信	Ethernet、RoCE或跨节点网络的通用替代品

可以把它们理解为“路、通行方式、地址标识和GPU专用通道”：Ethernet提供一种网络承载，RDMA规定远程内存数据如何高效移动，GID帮助RDMA通信选择端点与RoCE类型，NVLink服务GPU扩展域内的GPU到GPU通信。这个类比只用于理解层级，不能替代真实拓扑检查。

ETH：先确认它只是以太网，还是要承载RoCE

服务器规格或系统配置中的“ETH”通常是Ethernet的缩写，可能指普通管理网、业务网、存储网，也可能指承载RoCE的高速计算网络。端口标称速率只说明链路能力的一部分，不能证明RDMA数据路径已经建立。

RoCE（RDMA over Converged Ethernet）把RDMA传输承载在Ethernet上。NVIDIA DOCA资料区分RoCEv1与RoCEv2：RoCEv1直接使用Ethernet封装，RoCEv2增加IP与UDP封装，可以进入三层可路由网络。两者在线路格式、地址选择和网络设计上并不相同。

生产RoCE还要检查端到端流控和拥塞设计。NVIDIA文档指出，RoCE可靠运行需要流控，并将Priority Flow Control（PFC）作为常规优化路径；PFC需要在通信路径上的端点和交换设备保持一致。实际项目还应联合核查队列、优先级、ECN、MTU和超售，而不是只确认“交换机支持RoCE”。

如果项目只做远程管理、模型下载或普通API访问，标准Ethernet通常已经能够承担通信；如果目标是多节点训练、分布式存储或低时延高吞吐数据交换，才需要进一步判断RoCE、InfiniBand或其他RDMA路径。

RDMA：它是访问机制，不是一种端口

RDMA全称Remote Direct Memory Access，即远程直接内存访问。官方资料将其描述为服务器之间直接移动应用内存数据、降低CPU参与的机制。这里的“绕过CPU”主要指数据搬运路径；连接建立、内存注册、资源管理和异常处理仍需要CPU及操作系统参与。

RDMA可以由不同网络技术承载。在GPU集群里，常见路径包括InfiniBand和RoCE。决定实际效果的不只是网卡峰值带宽，还包括网卡与CPU/GPU的PCIe位置、NUMA亲和性、交换网络、拥塞控制、驱动固件、通信库和工作负载消息模式。

GPUDirect RDMA与普通RDMA也不能混为一谈。CUDA 13.3文档说明，GPUDirect RDMA利用PCI Express能力，在GPU与网卡等第三方对等设备之间建立直接数据路径。它的价值是减少GPU数据经主机内存中转，但是否可用取决于GPU、NIC、PCIe根复合体、驱动模块、IOMMU及平台支持。

因此，“网卡支持RDMA”只完成了一部分条件。若目标是GPU显存到网络的直接传输，还要检查GPU-NIC拓扑和GPUDirect RDMA兼容性；若数据只位于主机内存，则不应把GPUDirect RDMA列为必要条件。

GID：RoCE里为什么会看到多个地址索引

GID全称Global Identifier，即全局标识符。它不是一条物理链路，也不表示端口带宽。在RDMA地址向量中，源GID及其索引会参与端点与路径选择；在RoCE环境中，GID还与RoCE版本、IP地址、VLAN和具体网络设备相关。

NVIDIA DOCA资料显示，当NIC端口对应的Ethernet设备配置IP地址时，驱动会生成GID表项；每个表项包含GID值、GID类型和关联的网络设备。IPv4地址会以IPv4映射IPv6的形式进入GID表，IPv6地址则使用IPv6形式。

同一个GID值可能存在不同类型的表项，用来区分RoCEv1和RoCEv2；VLAN或额外IP地址也会增加表项。队列对进入通信状态时，所选GID索引会影响使用的源GID和RoCE类型。由此可见，排障时只比对IP地址并不充分，还要同时核查RDMA设备、端口、GID索引、GID类型和netdev映射。

常见故障包括两端选择了不同RoCE类型、业务进程绑定了错误的网口或VLAN、容器看到的网络命名空间与主机不一致，以及IP调整后GID表未按预期更新。GID不是“越多越好”；重要的是目标通信进程选择了与网络设计一致的表项。

NVLink：重点是GPU扩展域，不是普通网络

NVLink是NVIDIA面向大规模GPU到GPU通信设计的scale-up互联。它主要服务训练、推理和并行计算中频繁的GPU间数据交换。当前公开资料已介绍第六代NVLink及NVLink 6 Switch，但不同GPU代际、产品形态和整机平台支持的NVLink版本与拓扑差异很大，不能只看“支持NVLink”四个字。

NVSwitch把多个NVLink连接组织为交换式互联。NVIDIA AI Enterprise Release 7文档将NVSwitch描述为系统内多GPU直接通信的高带宽、低时延互联结构，并指出其支持范围受硬件平台、虚拟化软件和来宾操作系统版本限制。

NVLink也不等于“多卡显存自动合并”。应用能否使用多张GPU的总显存，取决于模型并行、数据并行、任务并行、统一内存或具体框架实现。没有相应软件路径时，NVLink只提供通信能力，不会把多个离散显存自动变成任意应用都能透明使用的单一内存池。

在常见服务器中，NVLink用于GPU之间，Ethernet、RoCE或InfiniBand用于节点之间；新一代机架级NVLink平台扩大了scale-up域，但仍属于特定整机架构，不能据此推导任意服务器都可跨节点使用NVLink。

三条典型数据路径

通信场景	典型数据路径	主要核查项
同一服务器内GPU到GPU	GPU显存 → NVLink/NVSwitch或PCIe → GPU显存	GPU型号、P2P能力、NVLink数量与拓扑、NVSwitch状态、通信库
服务器之间的主机内存通信	应用内存 → RDMA NIC → Ethernet/RoCE或InfiniBand → RDMA NIC → 应用内存	RDMA设备、网卡模式、GID/地址、交换网络、队列与拥塞控制
服务器之间的GPU显存通信	GPU显存 → PCIe/GPUDirect RDMA → NIC → 网络 → NIC → PCIe/GPUDirect RDMA → GPU显存	上述网络条件，加GPU-NIC PCIe拓扑、NUMA、驱动模块和平台兼容性

GID不会出现在第一条纯节点内GPU路径中；NVLink也不会替代第二、第三条路径中的跨节点网络。一个多节点GPU集群可能同时使用NVLink/NVSwitch、PCIe、GPUDirect RDMA、RoCE或InfiniBand，它们分别解决不同区段的问题。

按场景判断哪些能力值得优先确认

项目场景	优先关注	通常不是首要条件	升级或验证触发条件
单GPU开发或推理	普通Ethernet、业务时延、数据与存储吞吐	NVLink、GID、GPUDirect RDMA	模型或任务需要多GPU，或数据路径成为瓶颈
单机多GPU训练/推理	NVLink/NVSwitch或PCIe拓扑、P2P、显存分配、集合通信	纯节点内任务通常不依赖RoCE GID	单节点容量不足、排队或交付时间不达标
多节点GPU训练	RDMA网络、GID/地址、GPU-NIC拓扑、GPUDirect RDMA、NCCL	只比较GPU理论算力	扩展效率、尾时延或网络错误影响交付
共享存储与远程数据管线	存储协议、网卡与网络、读写模式、缓存和数据布局	NVLink不直接解决远程存储问题	GPU等待数据、I/O队列持续增长
虚拟化或容器化GPU平台	设备直通/虚拟GPU支持、网络命名空间、GID可见性、版本矩阵	裸机可用不能直接外推到虚拟环境	租户隔离、P2P或RDMA路径与裸机不一致

这张表用于决定核查顺序，不是固定配置单。端口速率、GPU数量和NVLink代际不能单独决定平台形态；应用的消息大小、通信占比、并行策略、并发与服务目标仍需进入PoC。

采购与上线前的拓扑核查清单

1. 明确负载边界：记录单机还是多节点、GPU间通信占比、模型并行方式、消息大小和目标完成时间。
2. 核对GPU互联：确认具体GPU与整机平台是否支持NVLink/NVSwitch，以及每对GPU的实际路径，不能从GPU数量推断。
3. 核对网卡模式：确认端口工作在Ethernet还是InfiniBand链路层，并核对网卡、驱动、固件和RDMA设备。
4. 核对RoCE地址：记录netdev、IP、VLAN、RDMA设备、端口、GID值、GID类型与GID索引，两端口径保持一致。
5. 核对交换网络：检查MTU、PFC、ECN、优先级、队列、缓冲、路由、超售和链路聚合是否符合目标RoCE设计。
6. 核对GPU-NIC路径：检查PCIe交换、CPU插槽和NUMA亲和性，确认GPUDirect RDMA的硬件与软件前提。
7. 核对软件栈：固定操作系统、GPU驱动、CUDA、OFED/DOCA、NCCL或目标通信库版本，形成兼容矩阵。
8. 按层测试：先测链路与RDMA，再测GPU P2P与GPU-NIC路径，最后在代表性业务负载下测集合通信和端到端任务。

NVIDIA当前工具文档提供了可执行的拓扑入口：nvidia-smi topo -m可查看GPU、NIC、CPU和NUMA关系，nvidia-smi topo -p2p n可核查GPU间NVLink P2P能力；NCCL 2.31.2性能排障文档还建议使用拓扑信息与nvbandwidth区分NVLink、PCIe和多节点网络问题。

PoC应怎样验收，而不只看“能跑”

• 基础连通：管理网、业务网和计算网的地址、路由、VLAN及端口状态符合设计。
• RDMA连通：两端使用预期RDMA设备、端口、GID类型和GID索引，基础带宽与时延测试稳定。
• 网络健康：在持续负载和并发条件下观察丢包、重传、拥塞、暂停帧、ECN标记及端口错误。
• GPU互联：逐对验证P2P路径，确认实际经过NVLink/NVSwitch还是PCIe，并记录带宽与拓扑差异。
• GPU-NIC路径：确认目标进程实际使用预期NIC和GPU，检查NUMA跨越及GPUDirect RDMA是否生效。
• 集合通信：以目标GPU数、节点数和消息规模运行通信测试，记录带宽、时延、扩展效率、波动和错误。
• 业务负载：使用代表性模型、数据、并行策略和运行时长，验证训练步时、推理时延或总吞吐是否达到项目目标。

验收阈值不应从端口标称值直接推导。不同平台、拓扑、消息规模和软件版本的可达带宽不同，应先建立同条件基线，再把异常阈值、升级条件和复测方法写入交付记录。

赋创可协助的计算平台交付环节

客户提供服务器配置、GPU与NIC型号、交换网络设计、软件版本、代表性负载和目标性能后，赋创可协助梳理GPU服务器拓扑，形成GPU-GPU与GPU-NIC链路核查记录、RoCE/GID配置核对表，以及网络与集合通信验收清单。

在指定软件环境和代表性业务负载下，还可协助执行计算平台侧PoC、容量测试或压力测试，并记录拓扑、带宽、时延、资源利用率和错误信息，用于校正网络、GPU互联及平台配置。模型质量、算法效果和业务上线标准由客户相应团队确认。

常见问题

有100G、200G或400G Ethernet，就等于支持RDMA吗？

不等于。端口速率只说明链路标称能力。RDMA还需要支持的NIC、驱动与固件、RoCE或其他RDMA传输、GID/地址、交换网络配置和上层通信库共同满足条件。

RDMA和NVLink哪个更快？

这个问题缺少共同前提。RDMA主要解决远端内存访问和节点间传输，NVLink主要解决GPU扩展域内的GPU间通信；两者服务不同区段，不能只比较一个峰值数字。多节点GPU系统往往同时需要二者。

GID就是RoCE网卡的IP地址吗？

不能简单画等号。RoCE驱动会根据Ethernet设备上的IP生成关联GID表项，但表项还包含GID类型和netdev，同一地址可能对应RoCEv1、RoCEv2或不同VLAN的多个索引。排障时必须连同类型和索引一起核查。

多GPU服务器一定要有NVLink吗？

不一定。独立任务并行、部分推理复制或对GPU间通信不敏感的负载可以主要使用PCIe；张量并行、专家并行和频繁集合通信更可能从NVLink/NVSwitch获益。是否值得投入应由代表性负载和通信测试决定。

使用GPUDirect RDMA必须同时有NVLink吗？

不必须。GPUDirect RDMA关注GPU与NIC之间的直接数据路径，核心条件是GPU、NIC、PCIe拓扑和软件支持；NVLink关注GPU到GPU通信。多GPU、多节点系统可能同时使用两者，但它们不是相互依赖的同一种能力。

方案咨询

需要把方案落到实际配置？

联系赋创获取算力、软件栈和交付路径建议。

咨询方案浏览指南