GPU服务器CPU与GPU数量如何匹配

概述

CPU与GPU数量不能按固定比例匹配。对多GPU服务器，更重要的是PCIe通道、NUMA节点、内存带宽、网卡和NVMe是否形成合理的数据路径。

匹配逻辑

不存在固定的“每张GPU配多少CPU核心”公式。GPU数量增加后，真正变化的是PCIe资源、NUMA节点、内存通道、网卡和存储并发。

常见配置方向

NUMA比简单配比更重要

双路服务器中，每颗CPU拥有本地内存和I/O资源。部署时应结合nvidia-smi topo -m、lstopo和进程绑核进行验证。

训练、推理与RAG的CPU需求差异

典型规模的配置思路

• 1—2卡：优先保持架构简单，单路CPU通常足够，但仍要给高速网卡和NVMe预留PCIe资源。
• 4卡：需要重点检查GPU是否直连CPU、是否经过PCIe Switch，以及网卡和存储是否共享上行带宽。
• 8卡PCIe：通常采用双路或多级PCIe Switch，NUMA和GPU/NIC亲和性是验收重点。
• HGX 8卡：GPU间通信由NVSwitch承担，但CPU、网卡和存储仍需按平台拓扑配置。

赋创的配置与验收思路

赋创在多GPU服务器方案中不会按固定“CPU核心数/GPU数量”套表，而是结合整机拓扑、目标模型和数据路径完成配置建议。验收时除GPU计算外，还会关注PCIe、NCCL、存储和网络表现，避免整机规格看起来很高但数据供给不足。

CPU核心数如何做初步估算

CPU核心数可以按数据加载线程、推理服务进程、RAG组件、监控和系统预留进行估算，但不建议使用固定比例。相同的4卡服务器，纯模型推理和同时承载检索、数据库、日志的业务节点，CPU需求可能相差很大。

主机内存如何与GPU规模匹配

• 训练任务需要考虑数据缓存、数据增强和分布式进程开销。
• 在线推理需要为模型服务、请求队列、KV缓存管理和业务组件预留内存。
• RAG节点还要考虑向量库、文档解析和缓存。
• 多路CPU服务器应在各Socket间均衡安装内存，避免单侧容量不足。

什么情况下需要升级CPU平台

• GPU利用率受数据准备或单核性能限制。
• 增加高速网卡、NVMe后出现PCIe资源或带宽争用。
• 现有平台无法提供足够内存容量或通道。
• 从4卡扩展到8卡后，NUMA与设备拓扑无法合理组织。
• 新增RAG、Agent或多租户组件后，CPU和内存成为持续瓶颈。

常见问题

8卡GPU服务器一定需要双路CPU吗？

不一定，HGX等平台有固定设计；PCIe八卡平台常见双路，但仍要看主板和PCIe Switch架构。

CPU核心数要和GPU数量成比例吗？

没有固定比例，应按数据处理、并发、I/O和框架线程模型确定。

GPU利用率低一定是CPU不够吗？

不一定，还可能是数据读取、网络、显存、框架同步或模型本身造成。