AMD Instinct MI350X 参数与适用场景
AMD Instinct MI350X 基于 CDNA 4 架构，配备 288GB HBM3E、8TB/s 显存带宽和 1000W TBP，面向大模型训练、推理和 HPC。本文说明参数、八卡平台、ROCm 适配及部署边界。
- Slug
amd-instinct-mi350x- 更新
- 2026-07-02
- 来源
- 5
- 关系
- 2
概述
AMD Instinct MI350X 是面向数据中心 AI 与高性能计算的 OAM 加速器，采用第四代 AMD CDNA 架构，配备 288GB HBM3E 显存、8TB/s 峰值显存带宽，典型板载功耗为 1000W。它的主要价值在于较大的单卡显存、对 FP8、MXFP6、MXFP4 等低精度格式的支持，以及面向八卡 UBB 2.0 平台的扩展能力。
MI350X 适合大模型训练、继续预训练、微调、高显存推理和显存密集型 HPC，但不能只凭 288GB 显存或理论峰值判断项目效果。实际部署还取决于 ROCm 版本、模型与算子适配、八卡互联、主机内存、网络、散热和服务器平台。
产品定位
MI350X 属于 AMD Instinct MI350 系列，定位高显存数据中心 GPU。相比 MI325X，它从 CDNA 3 升级到 CDNA 4，显存从 256GB 提升到 288GB，峰值显存带宽从 6TB/s 提升到 8TB/s，并新增面向生成式 AI 的 MXFP6、MXFP4 等低精度计算能力。
- 主要任务：大模型训练与推理、长上下文推理、多模型服务、科学计算和数据分析。
- 典型形态：OAM 模块，不是普通 PCIe 插卡，通常集成于八卡 UBB 2.0 服务器平台。
- 软件基础：AMD ROCm、HIP、RCCL及已适配的深度学习框架和推理框架。
- 选型前提：目标模型、框架、容器和自定义算子需要在指定 ROCm 版本下完成验证。
核心参数规格
| 参数 | AMD Instinct MI350X | 说明 |
|---|---|---|
| GPU 架构 | 第四代 AMD CDNA | 面向 AI 与 HPC 的数据中心计算架构 |
| 制造工艺 | TSMC 3nm / 6nm FinFET | 采用多芯粒设计 |
| 计算单元 | 256 CU | 含 16,384 个流处理器和 1,024 个矩阵核心 |
| 峰值引擎频率 | 2200MHz | 峰值频率不等同于持续工作频率 |
| 显存 | 288GB HBM3E | 支持全芯片 ECC |
| 显存带宽 | 8TB/s | 峰值理论值 |
| 末级缓存 | 256MB | AMD Infinity Cache |
| 典型板载功耗 | 1000W TBP | 整机还需计入 CPU、内存、网卡、存储与风扇功耗 |
| 模块形态 | OAM | 54V UBB 供电，Passive OAM |
| 主机接口 | PCIe 5.0 x16 | 用于主机与加速器的数据通路 |
| Infinity Fabric 链路 | 7条 | 单链路峰值带宽 153GB/s，具体拓扑由平台决定 |
| 低精度矩阵峰值 | MXFP4/MXFP6 9.2PFLOPS | 理论密集峰值，不应直接换算为 Tokens/s |
| FP16/BF16 矩阵峰值 | 2.3PFLOPS | 不含结构化稀疏增益 |
| FP64 峰值 | 72.1TFLOPS | 适用于部分高精度 HPC 场景的理论指标 |
| 虚拟化能力 | 支持 SR-IOV | 实际可用范围需核对服务器、固件和软件支持矩阵 |
表中的 PFLOPS、TFLOPS 和带宽均为官方峰值规格。不同精度、结构化稀疏、框架实现和模型算子不能直接混合比较，真实业务应以统一模型和软件环境测试。
关键参数如何理解
288GB HBM3E 的实际价值
较大的显存可以减少模型权重跨卡切分，为 KV Cache、激活值、批量和框架工作区保留更多空间。对于 70B、百亿级稠密模型或 MoE 模型，MI350X 有利于提高单卡或单节点的模型承载空间，但“模型能装入显存”不等于已经满足长上下文、高并发和稳定服务要求。
训练场景还要考虑权重、梯度、优化器状态和激活值。即使单卡显存较大，全参数训练通常仍需要多卡并行、ZeRO、激活重计算或其他显存优化策略。
8TB/s 显存带宽适合什么任务
大模型推理、注意力计算和部分 HPC 工作负载经常受到显存带宽影响。8TB/s 峰值带宽有助于提高权重和张量的数据供给能力，但最终吞吐还受矩阵计算效率、算子融合、通信、批量、上下文长度和框架版本影响。
MXFP4 与 MXFP6 是否可以直接使用
CDNA 4 增加了 MXFP4、MXFP6 等低精度能力，适合对内存容量和吞吐敏感的生成式 AI 工作负载。是否能够获得实际收益，取决于模型是否支持对应量化格式、框架是否具备相关内核，以及精度损失是否满足业务要求。不能把峰值低精度算力直接写成通用推理性能。
1000W 平台意味着什么
1000W 是单个 OAM 的典型板载功耗。八卡加速器本身的功耗规模可达到 8kW，尚未计入主机、内存、高速网卡、存储和散热系统。部署前需要确认机柜功率、PDU、服务器电源、风道或液冷方案，以及机房制冷余量。
适用任务与场景
- 大模型推理：高显存模型、长上下文、多模型加载和较大 KV Cache 场景。
- 训练与微调：大模型继续预训练、监督微调、LoRA/QLoRA和多卡分布式训练。
- MoE 模型：较大总参数量、专家权重和高通信需求的混合专家模型。
- AI for Science：气象、计算化学、生命科学、物理仿真和科学机器学习。
- 传统 HPC：需要较高 FP64、显存容量和带宽的科学计算任务。
- 多租户资源池：在服务器、固件和软件支持明确时评估 SR-IOV 及资源隔离方案。
ROCm 软件生态与适配
MI350X 依赖 ROCm 软件栈，包括驱动、HIP 运行时、数学库、MIOpen、RCCL、监控和容器环境。PyTorch、vLLM、SGLang等框架对AMD GPU的支持在持续更新，项目应锁定完整的操作系统、内核、固件、ROCm、框架和模型镜像版本。
- 确认目标模型是否已有 AMD 或社区维护的可用镜像。
- 检查 FlashAttention、自定义 CUDA 扩展、量化内核和融合算子的 ROCm 支持。
- 多卡任务需要验证 RCCL、GPU 拓扑和网络 RDMA。
- 升级 ROCm 或框架前应做正确性和性能回归，保留可回退镜像。
- “框架支持 ROCm”不能解释为所有模型、插件和自定义算子均可直接运行。
八卡平台与互联
AMD MI350X 官方平台采用 UBB 2.0 形态，在一块通用底板上集成 8 个 MI350X OAM，总显存约 2.3TB。GPU 之间通过第四代 AMD Infinity Architecture 连接，官方平台公布的聚合双向点对点 I/O 带宽约为 1,194.8GB/s。
UBB 八卡平台不是八张普通 PCIe 卡简单安装在主板上。服务器还需要配套 CPU、内存、PCIe Switch、高速网卡、供电、散热、固件和 BMC。多节点扩展则需要通过 RoCE 或 InfiniBand 建立 scale-out 网络。
部署关注点
- 主机内存：AMD 验收指南对八卡 MI350X 平台给出的高层参考为 3TB或更多；具体容量应结合数据集、CPU卸载、容器和虚拟化确定。
- CPU与NUMA：需要确认每个GPU、NIC和NVMe设备所属NUMA节点，避免跨Socket数据绕行。
- 网络：AMD验收示例采用8张400G后端网卡；这属于高端集群参考，不是所有项目的统一最低配置。
- 固件：BIOS、BMC、PCIe Switch、NIC和GPU固件需要采用服务器厂商验证组合。
- 散热：1000W OAM必须依赖专用服务器风道或液冷设计，不能按普通PCIe加速卡部署。
- 验收：至少覆盖GPU识别、显存与带宽、P2P、RCCL、压力测试、温度功耗和目标模型测试。
选型边界
- 优先评估：显存是明确瓶颈、目标软件已支持ROCm，并且具备八卡平台与集群运维能力。
- 适合评估：大模型推理、训练、HPC以及需要较大单卡显存的任务。
- 需谨慎：强依赖CUDA专有库、闭源CUDA插件或未提供源码的自定义算子。
- 不应直接承诺：固定模型的Tokens/s、最大上下文、并发量或与其他GPU的性能倍数。
- 不属于普通插卡升级：MI350X需要完整OAM/UBB服务器平台，不能装入常规PCIe工作站。
MI350X 与 MI355X 有什么区别
| 维度 | MI350X | MI355X |
|---|---|---|
| 架构 | CDNA 4 | CDNA 4 |
| 显存与带宽 | 288GB HBM3E，8TB/s | 288GB HBM3E，8TB/s |
| 典型板载功耗 | 1000W | 1400W |
| 峰值引擎频率 | 2200MHz | 2400MHz |
| MXFP4/MXFP6矩阵峰值 | 9.2PFLOPS | 10.1PFLOPS |
| 主要方向 | 通用数据中心AI与HPC平台 | 更高功率密度和持续性能平台 |
| 基础设施要求 | 高功率服务器，按OEM风冷或液冷方案部署 | 通常面向直接液冷、高密度机柜设计 |
两款型号的显存容量和带宽相同，MI355X主要通过更高功耗和频率提高峰值与持续性能。若业务主要受显存容量限制，而不是受计算吞吐限制，MI350X可能已经满足需求；是否选择MI355X还要评估液冷、机柜功率和实际性能收益。
进一步选型需要哪些信息
- 模型名称、参数量、精度、量化方式和自定义算子。
- 训练、微调、推理或HPC任务及目标性能。
- 上下文长度、并发、批量和KV Cache规模。
- 单节点八卡还是多节点集群。
- ROCm、框架、容器和模型镜像版本。
- 机柜功率、散热方式、网络和存储条件。
- 是否存在CUDA依赖及可接受的迁移工作量。
常见问题
MI350X 有多少显存
单个MI350X提供288GB HBM3E显存，官方八卡UBB 2.0平台总显存约为2.3TB。
MI350X 能单卡部署多大的模型
288GB可以减少大模型切分，但实际能力仍取决于权重精度、KV Cache、上下文、并发和框架开销，不能只按参数量给出统一结论。
MI350X 是 PCIe 显卡吗
不是普通PCIe插卡。它采用OAM模块并集成于UBB服务器平台，虽然提供PCIe 5.0 x16主机接口，但不能直接安装在普通服务器插槽中。
MI350X 可以直接运行 CUDA 应用吗
不能直接假设。主流框架可使用ROCm版本，自定义CUDA代码和闭源插件可能需要HIP迁移、替换或重新编译。
MI350X 八卡服务器需要多少内存
AMD验收指南对八卡MI350X平台给出的高层参考为3TB或更多，最终容量仍需结合工作负载、虚拟化和数据处理方式确定。
MI350X 与 B200 哪个更快
不能只看理论PFLOPS。需要统一模型、精度、批量、上下文、软件版本和八卡平台测试，同时比较ROCm与CUDA生态及迁移成本。
MI350X 适合企业生产环境吗
可以用于经过认证和验证的服务器平台，但生产上线前必须完成固件、ROCm、网络、压力、稳定性和目标业务验收。
方案咨询
不确定该硬件是否适合您的模型？
结合模型规模、显存、并发和机房条件，判断 GPU 服务器与集群配置。