大模型推理显存怎么计算？从模型权重、KV Cache到并发容量规划
给出大模型推理显存的工程化估算方法：分别计算模型权重、KV Cache、运行时工作区与安全余量，并解释上下文、并发、GQA/MQA、量化和多GPU并行如何改变实际容量。
大模型显存推理显存KV Cache模型参数
AI Infrastructure Knowledge Hub
指南
46 个指南条目
国产GPU项目PoC测试与验收清单：从模型适配到生产可运维性
国产GPU项目PoC不能只比较峰值算力。本文提供从硬件健康、驱动运行时、模型与算子适配、单卡/多卡性能、并发、稳定性到迁移与运维的中立验收清单。
国产GPU国产算力PoCGPU验收信创AI
AI GPU参数怎么看？算力、显存和显存带宽如何影响训练与推理
从算力、显存容量、显存带宽三个核心参数解释AI GPU规格表，并扩展到GPU互联、PCIe、功耗散热与软件生态，帮助训练和大模型推理项目建立完整选型框架。
GPU参数GPU算力GPU显存显存带宽
AI服务器采购需求信息表：模型、并发、数据与机房条件怎么梳理
采购AI服务器前先明确模型版本、精度、上下文、并发、数据规模、网络存储和机房条件。本文提供可直接用于需求沟通的企业AI服务器需求信息表，适用于GPU服务器与集群采购前期梳理。
AI服务器采购AI服务器需求表GPU服务器选型大模型部署
AI服务器机柜功率怎么估算？从整机功耗到PDU与散热规划
高密度GPU服务器上架前如何估算机柜功率？本文从整机最大功耗、供电冗余、PDU/回路、电压、热负载与扩容空间说明机房侧规划方法，并给出上架前核验清单。
AI服务器功率GPU服务器功耗机柜功率PDU
AI服务器PoC与验收指标怎么定？从功能、性能到稳定性的企业验收指南
AI服务器PoC不应只跑一次模型或只看GPU峰值性能。本文给出从业务任务、TTFT/TPOT、吞吐、并发、稳定性到软件环境和故障恢复的可复用验收框架。
AI服务器PoCAI服务器验收GPU服务器测试大模型部署
CUDA、驱动、框架与容器版本如何建立兼容矩阵？
企业GPU服务器部署如何管理NVIDIA驱动、CUDA、PyTorch/推理框架、NCCL与容器版本？本文给出兼容矩阵建立、验证、冻结和升级的工程方法。
CUDA兼容NVIDIA驱动PyTorch容器
TTFT、TPOT、吞吐与并发：大模型推理服务怎么验收？
解释TTFT、TPOT/ITL、吞吐、并发、P95/P99等大模型推理指标的含义与关系，并给出企业推理服务从单请求基线到SLA容量边界的验收方法。
TTFTTPOTITL大模型推理
Kimi K3部署指南：2.8T MoE、API、自托管与GPU集群规划
Kimi K3采用2.8T总参数、104B激活参数、MXFP4权重与1M上下文。基于2026年8月5日官方资料，详解Kimi K3 API、自托管、vLLM/SGLang/TokenSpeed、GPU集群、长上下文与企业PoC规划。
Kimi K3Kimi K3部署Kimi K3私有化部署MoE
大模型训练Checkpoint存储与恢复怎么设计
Checkpoint设计的目标不是多存文件，而是在故障后按约定时间恢复正确状态。本文覆盖状态范围、分布式格式、写入提交、分层存储、保留和恢复演练。
大模型Checkpoint训练恢复分布式Checkpoint模型训练
多模型并发部署如何做GPU资源隔离
多模型并发部署需要同时约束显存、计算、故障域和服务等级。本文用隔离等级、准入台账和干扰测试说明整卡、MIG与共享调度的选择方法。
GPU资源隔离多模型并发部署MIGGPU共享
多组学与分子模拟为什么同时需要CPU、GPU和高速存储
多组学与分子模拟是异构、多阶段工作流：CPU负责数据准备与部分算法，GPU加速适配计算核，高速存储连接数据、临时空间和结果。本文给出工作流映射与验收方法。
多组学计算分子模拟生命科学HPCCPU GPU存储
多GPU服务器、GPU集群与超节点怎么选？企业AI算力选型指南
从业务负载、显存并发、互连网络、软件生态、机房条件和三年TCO出发，判断企业应该选择多GPU服务器、多节点集群还是Scale-up超节点
AI服务器GPU服务器GPU集群超节点
全闪NVMe存储如何与GPU服务器匹配
全闪NVMe不能只按峰值带宽匹配GPU服务器。本文从工作集、I/O形态、并发、元数据、网络和PCIe拓扑建立需求模型，并给出端到端联调清单。
全闪NVMeGPU服务器存储GPUDirect StorageAI存储
EDA算力平台如何做性能基线与验收
EDA平台验收应以真实任务完成时间和并发能力为主，以CPU、内存、存储和网络微基准定位原因。本文给出测试合同、分层基线和变更复测方法。
EDA算力平台EDA验收HPC基准EDA
GPU服务器监控哪些指标：显存、功耗、温度与利用率
GPU监控不能只看利用率。本文按容量、活动、热功耗、互联与错误五组信号组织指标，并说明如何用基线、持续时间和业务指标设计告警。
GPU服务器监控GPU显存监控GPU功耗温度DCGM
大模型推理精度与量化怎么选：BF16、FP8、INT8与INT4
本文从数值格式、量化方式、GPU与推理框架支持、理论权重容量、KV Cache、性能压测和质量回归等维度，说明BF16、FP8、INT8与INT4的适用边界，并给出企业大模型推理部署的选型与验收方法。
大模型量化BF16FP16FP8
NVIDIA H200 企业选型知识库｜赋创 FUCHUANG
面向企业架构、采购、运维与业务负责人的 NVIDIA H200 选型知识库，覆盖规格形态、显存估算、多卡互联、整机瓶颈、业务决策、PoC 验收、FAQ 与官方来源。
NVIDIA H200AI 服务器GPU 选型大模型部署
GLM-5.2服务器配好后如何上线？POC、KV Cache与生产验收
GLM-5.2本地部署后如何进入生产环境？本文说明KV Cache、1M上下文、max-model-len、max-num-seqs、POC测试、模型服务架构和上线验收。
GLM-5.2POCKV Cache1M上下文
科研计算工作站、服务器与HPC集群如何选择？
从软件并行能力、单任务规模、并发数量、内存、GPU、存储、网络和运维方式出发，判断科研计算应选择工作站、服务器还是HPC集群。
科研计算HPC计算工作站计算服务器
Ansys Fluent流体仿真服务器如何配置？
从网格规模、物理模型、稳态与瞬态、CPU或GPU求解、内存、网络和存储出发，说明Ansys Fluent服务器与集群的配置方法。
Ansys FluentCFD流体仿真CPU服务器
CPU NUMA如何影响多GPU服务器性能？
NUMA会影响多GPU服务器中的CPU、内存、GPU、网卡和NVMe访问路径。本文说明常见性能问题、检查工具和进程绑定方法。
NUMA多GPUGPU服务器PCIe拓扑
EDA前端验证、后端实现与SPICE仿真如何选硬件？
EDA前端验证、后端实现、静态时序和SPICE仿真具有不同的CPU、内存、并发和存储特征。本文按工作负载说明节点选型方法。
EDA前端验证后端实现SPICE仿真
MATLAB科学计算应选高频CPU、GPU还是集群？
MATLAB能否从高频CPU、GPU或集群受益，取决于函数支持、代码结构、数据规模和任务并发。本文给出分场景选型与验证方法。
MATLABParallel Computing ToolboxGPU计算并行计算
8卡GPU服务器CPU、内存与PCIe配置指南
8卡GPU服务器配置需要同时考虑CPU、内存、PCIe或NVSwitch、网卡、NVMe和NUMA。本文给出PCIe八卡与HGX平台的配置与验收重点。
8卡GPU服务器CPU内存PCIe
单路还是双路CPU更适合AI服务器
AI服务器选择单路还是双路，取决于GPU数量、PCIe资源、内存容量、NUMA和整机成本。本文对比两种架构的适用场景、优势与部署边界
单路CPU双路CPUAI服务器NUMA
AI服务器CPU怎么选：核心数、频率与PCIe通道
AI服务器CPU选型不能只看核心数，还要综合频率、内存通道、PCIe资源、NUMA拓扑和GPU数量。本文给出面向训练、推理和多卡服务器的判断方法。
AI服务器CPU选型PCIeNUMA
GLM-5.2本地部署配置推荐：FP8、1M上下文与Q4方案
GLM-5.2需要多少GPU？本文给出8×H200、8×H20、8×B200及Q4量化配置，并说明1M上下文、内存、存储、框架和上线验收。
GLM-5.2H200B200pro 6000
GPU服务器CPU与GPU数量如何匹配？
GPU服务器CPU与GPU数量的匹配取决于PCIe通道、NUMA、内存、网络和存储，而不是固定比例。本文给出1卡、4卡和8卡服务器的配置判断逻辑。
GPU服务器CPU多GPUPCIe
AMD Instinct 八卡服务器部署要注意什么?
AMD Instinct 八卡服务器通常采用 OAM 与 UBB 平台，部署需要同时规划 Infinity Fabric、CPU与NUMA、主机内存、400G网络、ROCm、供电散热和系统验收。本文给出可执行的节点与集群检查框架。
AMD 八卡服务器AMD Instinct 8 GPUMI300X 八卡服务器MI325X 八卡服务器
CUDA 应用迁移到 AMD ROCm 需要做什么
CUDA应用迁移到AMD ROCm不是简单替换驱动，需要盘点框架和依赖库，使用HIP/HIPIFY转换自定义代码，将NCCL迁移到RCCL，并完成容器、正确性、性能与多卡回归。
CUDA迁移ROCmCUDA转HIPNVIDIA迁移AMD GPUHIPIFY
国产芯片训练万亿参数模型之后，企业信创AI项目该怎么看？
国产芯片已开始支撑万亿参数模型训练，但企业信创AI项目不能只看模型规模和芯片参数。本文从模型适配、软件生态、性能测试、迁移成本、供应服务和实施路径等维度，说明企业应如何评估国产算力方案
国产AI芯片信创AI国产算力大模型部署
企业AI Agent进入生产环境，需要怎样的运行底座？
企业AI Agent进入生产环境，需要模型推理、任务编排、知识与记忆、工具连接、安全隔离、AgentOps和算力基础设施共同支撑。本文给出架构分层、算力规划、安全边界和分阶段部署方法。
企业AI AgentAgent生产环境AgentOps私有化部署
金融行业国产AI基础设施规划指南
金融行业建设国产AI基础设施，需综合考虑GPU、服务器、网络、存储、AI平台和软件环境。本文提供从选型到分阶段实施的系统规划指南，帮助技术决策者构建稳定可扩展的金融AI系统。
国产GPU金融AIAI算力平台国产GPU
NVIDIA RTX PRO 5000 Blackwell：48GB/72GB参数、AI部署能力与选型建议
解析NVIDIA RTX PRO 5000 Blackwell 48GB与72GB版本的核心参数、大模型推理与微调能力、多卡部署边界，并对比RTX 5090和RTX PRO 6000，帮助企业完成GPU采购选型。
NVIDIARTX PRO 5000Blackwell专业GPU
高校科研算力中心建设指南
面向高校、科研院所和实验室的科研算力中心建设指南，覆盖 AI/HPC 资源池、教学实训、科研训练、RAG 平台、网络存储、调度和运维治理。
guideresearch-computingeducationhpc
行业知识库项目落地指南
面向企业和行业客户的知识库项目落地指南，覆盖文档盘点、RAG 架构、权限隔离、引用溯源、评测集、上线验收和持续运营。
guideenterprise-knowledge-baseragprivate-llm
医疗 AI 算力规划指南
面向医院、影像中心、药企和医疗科研机构的 AI 算力规划指南，覆盖医学影像、临床文档、药物研发、多模态医疗大模型和私有化部署边界。
guidehealthcaremedical-imagingclinical-ai
自动驾驶算力规划指南
面向自动驾驶感知训练、仿真、数据闭环、端到端模型和车端推理验证的算力规划指南，强调训练集群、仿真渲染、存储吞吐和多节点网络。
guideautonomous-drivingai-trainingsimulation
推理服务器选型指南
面向企业大模型和 RAG 推理服务，给出按模型规模、上下文长度、并发、显存、框架和服务化方式选择推理服务器的方法。
guideinferenceserverllm-serving
训练服务器选型指南
面向大模型训练、微调和科研计算，梳理训练服务器在 GPU、NVLink/NVSwitch、InfiniBand、CPU、存储、供电散热和调度系统上的选型方法。
guidetrainingserver8-gpu
AI 服务器采购避坑指南
面向企业 AI 服务器采购，梳理从业务场景、GPU、CPU、网络、存储、供电散热、软件栈到交付验收的关键检查项，避免只按单卡型号采购。
guideprocurementai-servergpu-server
私有化 RAG 实施指南
面向企业私有化知识库项目，给出 RAG 从数据边界、文档处理、Embedding、向量库、重排、生成、权限和运维到上线节奏的实施路径。
guideragprivate-deploymententerprise-knowledge-base
企业级大模型部署规格指南
基于 NVIDIA AI Enterprise 等官方资料，给出企业私有化和生产级大模型部署时的规格设计方法，包括业务目标、数据边界、并发、系统分层和演进路径。
guideenterprise-llmprivate-deploymentsizing
Qwen 系列模型部署规格指南
基于 Qwen 官方模型页与 Qwen2.5-72B 模型卡，给出 Qwen 系列模型按参数规模、上下文长度、并发目标和部署阶段进行资源规划的方法。
guideqwendeploymentsizing
DeepSeek-R1-32B 选型指南
围绕 DeepSeek-R1-32B 的模型特征、GPU 组合、量化路线与典型业务场景进行系统化选型说明。
guidedeepseek32bmodel-sizing