单机多卡与多节点集群的网络边界怎么判断？

直接回答：跨过服务器边界，就必须把网络当成计算系统的一部分

单机多卡主要依赖服务器内部的PCIe、NVLink或NVSwitch路径，关键是GPU之间能否P2P访问、是否跨CPU根复合体以及NUMA绑定是否正确。多节点在此基础上新增GPU到NIC、NIC到交换网络、跨节点路由和拥塞控制，任何一层都可能成为集合通信瓶颈。

单机与多节点的边界对比

什么情况优先保持单机多卡

• 模型、优化器状态或KV Cache能够在单节点容量内完成分片。
• 工作负载对集合通信延迟敏感，而且多节点扩展效率尚未证明。
• 网络、存储、调度和故障恢复体系还没有完成集群化准备。

什么情况必须评估多节点

• 单节点GPU数量、显存或互联拓扑无法容纳目标任务。
• 数据并行、张量并行、流水线并行或专家并行需要跨节点扩展。
• 业务需要节点级冗余、弹性容量或多机服务副本。

多节点网络验收要按层进行

1. 物理层：检查NIC、端口、光模块、线缆、链路速率和错包。
2. GPU到NIC：确认PCIe、NUMA、IOMMU/ACS和GPU Direct RDMA路径。
3. 网络传输：检查RDMA或TCP/IP配置、MTU、路由、拥塞和防火墙。
4. NCCL集合通信：在不同节点数和消息大小下记录带宽、延迟和异常。
5. 应用层：用目标模型和真实负载确认扩展效率与稳定性。

常见误区

• 只看NIC标称速率，不检查GPU到NIC的PCIe和NUMA路径。
• 单对节点测试达标，就假设整网多对通信也会达标。
• 在无法通信的网卡仍保持UP状态，导致NCCL自动选择错误接口。
• 立即调整NCCL环境变量，却没有先排除硬件、网卡、路由和端口问题。

用三个触发条件判断是否跨节点

第一，单机显存无法容纳模型、优化器状态或目标批量；第二，单机GPU数量无法在维护窗口内完成任务；第三，需要跨节点容错或资源池化。只要触发跨节点，设计对象就从“服务器”变成GPU、CPU、PCIe、网卡、交换机和通信库组成的完整路径。

NCCL提供多GPU和多节点集合通信原语，并会根据拓扑选择通信路径。它能利用硬件能力，但不能消除模型并行方式、消息大小、链路结构和资源争用造成的边界。

跨节点异常排查需要核对接口选择、地址可达性、端口、防火墙和网络插件。能ping通节点不代表集合通信路径已经满足吞吐、时延和稳定性要求。

多节点验收应写成网络测试合同

合同至少固定节点数、每节点GPU数、进程映射、消息规模、集合通信类型、持续时间和并发背景流量。先测单链路与单节点，再测两节点和目标规模；同时记录算法带宽、总线带宽、错误、重传、CPU占用和GPU等待，才能区分网络、拓扑与应用配置问题。

GPU Direct路径与PCIe拓扑、IOMMU和虚拟化配置有关。部署前应核对目标平台的实际拓扑并进行P2P和NCCL测试，不能仅根据网卡标称速率推导端到端性能。

赋创可以提供哪些支持

赋创可协助完成单机多卡拓扑检查、GPU与NIC亲和性规划、InfiniBand或RoCE环境部署、NCCL基线测试、监控接入和多节点交付验收。具体扩展效率应以目标模型和实际通信模式进行PoC。

常见问题

NVLink能否代替多节点网络？

不能简单等同。NVLink主要解决特定平台内的GPU互联；跨服务器通常还需要NIC、交换网络和匹配的软件栈。

多节点是否一定要使用InfiniBand？

不一定。InfiniBand、RoCE和TCP/IP都可能成为候选路径，选择取决于通信模式、带宽、延迟、集群规模、运维能力和总成本。

NCCL Tests达标是否就代表训练性能达标？

不代表。NCCL Tests用于检查集合通信基线，最终还要用目标模型、并行策略、数据管道和真实负载进行应用验收。

这条边界的最短回答

如果任务能在单机内满足容量、时限和可用性目标，优先减少跨节点复杂度；一旦跨节点，就必须把网卡、交换网络、NCCL路径和拥塞场景纳入PoC。赋创可协助服务器、网络、拓扑和测试环境联调，应用并行策略由客户算法团队确认。