AI服务器CPU怎么选：核心数、频率与PCIe通道

概述

AI服务器CPU不能只按核心数选。更合理的做法是先明确GPU数量、工作负载、内存、网络和存储，再判断CPU频率、核心数、PCIe通道与NUMA拓扑是否匹配。

先看工作负载，而不是先看型号

训练、推理、RAG、数据预处理和EDA对CPU的要求不同。训练通常更关注PCIe、内存带宽和多GPU拓扑；在线推理还要关注单核性能、并发调度、网络和数据预处理；云原生环境更看重核心密度与能效。

CPU选型的五个关键维度

• 核心数：影响并发数据加载、预处理和多任务能力，但不是越多越好。
• 频率：影响串行逻辑、Tokenization、RAG前后处理和部分推理调度。
• 内存通道：决定主机侧数据准备、缓存和CPU计算能力。
• PCIe通道：决定GPU、网卡和NVMe能否同时获得足够带宽。
• NUMA与拓扑：决定GPU、CPU、内存和网卡之间的数据路径。

不同场景如何取舍

主流CPU平台如何理解

客户选型前需要明确的信息

• GPU型号、数量及PCIe、SXM或HGX形态。
• 训练、推理、RAG、EDA或虚拟化等主工作负载。
• 主机内存容量、内存带宽和数据缓存需求。
• 网卡、DPU、NVMe和外部存储的数量与速率。
• 是否需要国产化、特定操作系统、虚拟化或商业软件认证。
• 性能目标、功耗条件、机柜空间和后续扩容计划。

赋创可提供的实施支持

赋创在AI服务器项目中通常从整机拓扑出发，结合主流Intel、AMD及国产CPU平台，评估GPU、内存、PCIe、网络和存储的匹配关系。对于国产服务器方案，还需同步核对操作系统、驱动、容器和目标加速卡的适配状态。具体配置仍应以客户模型、并发和机房条件为准。

建议采用四步选型法

• 第一步，确定任务：训练、在线推理、RAG、Agent、EDA和虚拟化对CPU的侧重点不同。
• 第二步，确定GPU与I/O：先确认GPU数量、PCIe或SXM形态、网卡和NVMe数量，再看CPU平台是否有足够资源。
• 第三步，确定内存：按照数据预处理、缓存、虚拟化和业务服务规模规划容量，并尽量均衡占满内存通道。
• 第四步，做整机验证：检查NUMA、GPU/NIC亲和性、存储和网络，不用单项CPU跑分替代系统测试。

常见选型误区

• 只看CPU核心数，忽略单核频率和内存带宽。
• GPU数量增加后仍沿用普通双路服务器思路，未核对PCIe拓扑。
• 把训练节点、推理节点和RAG业务节点使用同一套CPU配置。
• 忽略软件按核心计费、整机功耗和后续扩容成本。
• 国产CPU项目只确认硬件可安装，没有验证操作系统、驱动和容器。

上线前建议验收哪些指标

常见问题

AI服务器CPU核心越多越好吗？

不一定。核心数不足会限制数据准备和并发，但频率、内存带宽、PCIe和NUMA同样重要。

GPU训练主要靠GPU，CPU可以低配吗？

不建议。CPU仍负责数据加载、预处理、调度、网络和存储I/O。

单路CPU能带多张GPU吗？

可以，但要确认CPU的PCIe通道、主板拓扑、内存容量和其他I/O设备。