企业部署大模型要不要液冷

简短回答

不一定。企业部署大模型是否需要液冷，主要取决于 GPU 密度、单柜功率、服务器平台、机房冷却余量和运维能力。

如果只是少量 PCIe 推理服务器，通常可以先评估风冷方案。如果是 8-GPU 高密度训练节点、H200/B200 级平台、大规模推理集群或 GB200 NVL72 这类机架级系统，就应把液冷评估提前到采购前。

为什么不能只看“模型参数量”决定是否用液冷

液冷判断不能只看模型参数量，还要看部署平台和机房条件。公开资料中可以确认：

• NVIDIA GB200 NVL72 官方页面将其描述为连接 36 个 Grace CPU 与 72 个 Blackwell GPU 的机架级液冷设计
• NVIDIA DGX GB 机架级系统文档中包含 liquid cooling manifolds 等液冷相关硬件组成
• Open Compute Project Cold Plate 项目面向直接液冷应用的标准化和开放生态，覆盖冷板到 CDU 的技术冷却系统
• NVIDIA H200 页面说明 H200 提供 141GB HBM3e 和 4.8TB/s 显存带宽，B200/DGX B200 则进一步提升系统级显存和互联密度

因此，液冷判断不能只看“模型参数量”，还要看部署平台和机房条件。

影响判断的关键因素

建议按以下路径逐步判断：

1. 先看 GPU 服务器形态

• 1-2 台 PCIe 推理服务器：优先核算风冷是否足够
• 4-GPU 推理服务器：看机箱风道、机柜功率和连续负载
• 8-GPU 训练服务器：建议提前评估高密度供电和冷却
• HGX/DGX/B200/GB200 级平台：必须把冷却作为整体方案的一部分

2. 再看业务负载

大模型推理并不总是满功率运行，但高并发、长上下文、多模型常驻和批处理会提高 GPU 利用率。训练、微调和离线批处理更容易形成长时间高功耗负载。

3. 最后看机房能力

即使服务器支持风冷，如果现有机房单柜功率、冷热通道、空调冗余和供配电不足，也可能需要降密度部署或引入液冷。

分场景建议 / 配置方向

什么时候可以暂不做液冷

• 以小规模研发、验证和 Demo 为主
• GPU 数量少，且机房风冷能力有明确余量
• 主要使用 L40S、RTX 6000 Ada 等 PCIe 形态做本地推理或内容生成
• 业务允许降低单柜密度，用更多机柜换取更低改造风险

什么时候应优先评估液冷

• 新建高密度 GPU 集群
• 计划采购 8-GPU HGX/DGX 节点
• 规划 B200、GB200 或后续机架级 AI 平台
• 现有机房已经接近电力或制冷上限
• 目标是长期高利用率训练、推理或多模态生成服务

常见追问

Q：液冷是否会增加运维复杂度？

A：液冷可能提高单柜密度，但会增加 CDU、管路、维护、备件和风险管理成本。需要企业评估自身运维团队是否具备液冷设施的日常管理和应急处理能力。

Q：不做液冷是否意味着风险更低？

A：不做液冷可能降低改造复杂度，但需要更多机柜、空间和风冷能力。如果机房风冷能力不足，强行使用风冷高密度部署可能带来散热效率和可靠性风险。

常见误区

• 误区一：液冷只用于训练。 实际上，推理服务在持续高并发、长上下文场景下同样可能产生显著热负载。
• 误区二：只要显卡发热大就必须用液冷。 不一定。显卡发热还需要结合服务器形态、机柜布局和机房基础设施综合评估。
• 误区三：液冷方案可以完全替代风冷。 很多液冷方案仍需要风冷辅助散热，比如冷却液分配单元、泵组和机房环境温度控制。

建议动作

建议客户先明确以下信息，再向供应商或集成商提出冷却方案需求：

1. 确认计划部署的 GPU 型号和服务器形态
2. 估算单机功率和总功耗
3. 统计现有机房单柜功率、空调容量和供配电余量
4. 评估业务负载类型（训练/推理/混合）和预期利用率
5. 与机房运维团队确认改造能力和预算