AMD Instinct MI355X 参数与液冷部署要求

概述

AMD Instinct MI355X 是 MI350 系列中的高功率密度型号，采用第四代 AMD CDNA 架构，提供 288GB HBM3E 显存、8TB/s 峰值显存带宽和 1400W 典型板载功耗。它面向需要更高持续计算吞吐的大模型训练、推理和 HPC 平台，通常与高密度八卡 UBB 2.0 服务器及直接液冷基础设施配合使用。

MI355X 与 MI350X 的显存容量和带宽相同，主要差异集中在峰值频率、计算能力、功耗与散热条件。选择 MI355X 的关键不是“显存更大”，而是能否用更高的机柜功率和液冷投入换取目标任务中的持续性能收益。

产品定位

• 产品方向：高密度数据中心 AI 与 HPC 加速器。
• 主要优势：288GB HBM3E、8TB/s 显存带宽、CDNA 4 低精度能力和更高持续计算上限。
• 典型平台：8 个 MI355X OAM 组成的 UBB 2.0 平台，总显存约 2.3TB。
• 基础设施特点：单卡 1400W 级功耗，对液冷、机柜配电和运维提出更高要求。
• 软件基础：AMD ROCm、HIP、RCCL及经过验证的 AI/HPC 应用。

核心参数规格

参数	AMD Instinct MI355X	说明
GPU架构	第四代AMD CDNA	面向AI与HPC的数据中心架构
制造工艺	TSMC 3nm / 6nm FinFET	多芯粒设计
计算单元	256 CU	16,384个流处理器、1,024个矩阵核心
峰值引擎频率	2400MHz	高于MI350X的2200MHz
显存	288GB HBM3E	支持全芯片ECC
显存带宽	8TB/s	峰值理论值
末级缓存	256MB	AMD Infinity Cache
典型板载功耗	1400W TBP	需要高密度配电和专用散热平台
模块形态	OAM	54V UBB供电，Passive OAM
主机接口	PCIe 5.0 x16	主机数据通路
Infinity Fabric链路	7条	单链路峰值153GB/s
MXFP4/MXFP6矩阵峰值	10.1PFLOPS	理论密集峰值
FP8矩阵峰值	5PFLOPS	不含结构化稀疏增益
FP16/BF16矩阵峰值	2.5PFLOPS	不含结构化稀疏增益
FP64峰值	78.6TFLOPS	理论矢量与矩阵峰值
虚拟化能力	支持SR-IOV	具体支持以整机和软件矩阵为准

低精度和稀疏峰值只用于说明硬件能力。不同模型能否使用 MXFP4、MXFP6 或 FP8，取决于量化方法、框架内核、精度要求和软件版本。

高密度持续性能的价值

MI355X 将典型板载功耗提高到 1400W，峰值引擎频率提高到 2400MHz。其设计目标是为具备高功率和液冷条件的数据中心提供更高的持续性能，而不是增加显存容量。对于计算受限、GPU 利用率高且运行时间长的训练或推理任务，更高功率上限可能带来更大的性能空间。

如果业务主要受显存容量、网络或软件适配限制，MI355X 的高功率未必能转化为等比例收益。选型前应先确认瓶颈位于计算、显存、互联还是软件层。

液冷基础设施要求

1400W OAM 无法按普通风冷 PCIe 服务器的方式处理。AMD 公开应用资料将 MI355X 与液冷高密度平台关联，实际服务器通常需要冷板、冷却液分配单元、机架供回液管路和机房侧换热系统。具体冷却架构仍应以 OEM 整机设计为准。

• 服务器侧：确认冷板、快接头、管路、泄漏检测和BMC监控。
• 机架侧：核对CDU容量、供回液温度、流量、压差和冗余。
• 机房侧：评估设施水、二次侧换热、PDU、母线和单柜功率密度。
• 运维侧：建立水质、过滤、补液、漏液处置和备件流程。
• 验收侧：在满负载条件下验证温度、频率、功耗、流量和长期稳定性。

“支持液冷”不等于现有机房可以直接部署。设备到场前需要完成机柜功率、管路接口、承重、CDU和消防运维评估。

288GB显存与模型承载

MI355X 与 MI350X 均提供 288GB HBM3E，因此两者对模型权重和 KV Cache 的基础容量接近。288GB 可减少超大模型的跨卡切分，也有利于长上下文、多模型加载和较大批量，但不能据此承诺固定模型能够单卡生产运行。

MoE 模型需要区分总参数量和单 Token 激活参数量。权重可以分布在多张 GPU 上，但专家路由会带来 all-to-all 通信，实际吞吐可能受 RCCL、Infinity Fabric 和跨节点网络限制。

适用任务与场景

• 持续高利用率的大模型训练、继续预训练和多卡微调。
• 对单节点吞吐要求较高的大模型推理和批处理。
• 长上下文、多模型和大KV Cache服务。
• 需要FP64和高带宽显存的科学计算。
• 具备液冷和高机柜功率条件的云计算与大型数据中心。
• 希望在单节点内提供约2.3TB HBM3E的八卡平台。

软件生态与适配

MI355X 的软件基础是 ROCm。项目需要同时确认操作系统、内核、GPU 固件、ROCm、PyTorch 或其他框架、RCCL、容器和模型镜像。由于 CDNA 4 加入新精度格式，使用低精度计算时还要确认框架是否提供对应内核。

• 优先使用AMD或框架官方发布的MI350系列验证镜像。
• 检查自定义CUDA算子、FlashAttention、量化库和MoE内核的ROCm版本。
• 多节点训练应验证RCCL、RDMA和拓扑绑定。
• 升级软件前完成模型正确性、吞吐和稳定性回归。
• 第三方性能数据必须注明GPU数量、精度、模型和软件版本。

八卡MI355X平台

官方 MI355X 平台采用 UBB 2.0，集成 8 个 MI355X OAM，总显存约 2.3TB，每个 OAM 显存带宽 8TB/s。平台公开的聚合双向点对点 I/O 带宽约为 1,194.8GB/s。

仅按 8×1400W 计算，GPU 部分功耗已达到 11.2kW。完整服务器还需要 CPU、3TB 级主机内存、高速 NIC、NVMe、BMC、泵和其他部件，因此整机和机柜功率应以 OEM 规格为准，不能用 GPU 功耗简单代替。

部署关注点

• 供电：核对机架输入功率、PDU、母线、服务器电源冗余和功率限制策略。
• 液冷：确认CDU、流量、温度、压力、快接头和漏液监控。
• 主机内存：AMD验收指南对八卡MI355X平台给出的高层参考为3TB或更多。
• 网络：多节点训练和MoE任务需评估400G级RoCE或InfiniBand及无损网络配置。
• NUMA：GPU、NIC、CPU和NVMe需按拓扑绑定，避免跨Socket通信。
• 固件：采用OEM验证的BIOS、BMC、PCIe Switch、NIC、GPU BKC和ROCm组合。
• 验收：同时验证液冷、功耗、GPU计算、显存、P2P、RCCL和真实工作负载。

选型边界

• 优先评估：已有液冷条件、计算吞吐是主要瓶颈，并且ROCm生态已通过验证。
• 不应只因显存选择：MI350X与MI355X显存和带宽相同。
• 需谨慎：机房没有液冷、高密度配电或相关运维能力的项目。
• 需谨慎：高度依赖CUDA闭源组件且无法开展迁移验证的业务。
• 不直接承诺：1400W带来固定比例的性能提升，真实收益与任务瓶颈有关。

MI355X与MI350X怎么选

选择条件	优先评估MI350X	优先评估MI355X
显存需求	两者均为288GB HBM3E，不能据此区分
功耗条件	希望控制节点功率和冷却复杂度	具备1400W/OAM及高密度液冷条件
计算瓶颈	显存、软件或网络是主要瓶颈	持续计算吞吐是主要瓶颈
机房条件	采用OEM支持的风冷或液冷服务器	已规划直接液冷和高功率机柜
部署目标	通用AI/HPC节点	高密度、高持续性能节点

进一步选型需要哪些信息

• 目标模型、精度、上下文、批量和并发。
• 任务是否受计算、显存、互联或软件限制。
• 单节点或多节点规模及网络设计。
• 现有机房能否提供直接液冷和高密度配电。
• ROCm、框架、自定义算子和容器适配情况。
• 供应来源、OEM平台、保修和运维条件。

常见问题

MI355X有多少显存

单卡提供288GB HBM3E，八卡UBB平台总显存约2.3TB。

MI355X一定需要液冷吗

公开平台资料将1400W MI355X用于高密度液冷服务器。具体冷却方式应以OEM整机为准，但不能按普通风冷PCIe服务器设计。

MI355X比MI350X显存更大吗

不是。两者均为288GB HBM3E和8TB/s带宽，MI355X主要提高功耗、频率和峰值计算能力。

MI355X适合大模型推理吗

适合高显存和高吞吐推理评估，但需确认ROCm框架、量化内核、上下文、并发和集群网络。

MI355X适合哪些客户

更适合具备液冷、高功率机柜和专业运维能力的大型数据中心、云平台及科研计算中心。

MI355X能直接替代B200或GB200吗

不能简单替代。B200是SXM GPU，GB200 NVL72是72 GPU机架级系统，需要按单GPU、八卡节点和机架级平台分别比较。

MI355X有国内现货吗

供应情况需按OEM、渠道和项目时间确认，不宜根据海外发布信息推断国内现货与交期。

方案咨询

不确定该硬件是否适合您的模型？

结合模型规模、显存、并发和机房条件，判断 GPU 服务器与集群配置。

获取配置建议查看赋创产品