大模型推理显存怎么计算？从模型权重、KV Cache到并发容量规划
给出大模型推理显存的工程化估算方法：分别计算模型权重、KV Cache、运行时工作区与安全余量，并解释上下文、并发、GQA/MQA、量化和多GPU并行如何改变实际容量。
大模型显存推理显存KV Cache模型参数
AI Infrastructure Knowledge Hub
指南 / inference
3 个条目
多模型并发部署如何做GPU资源隔离
多模型并发部署需要同时约束显存、计算、故障域和服务等级。本文用隔离等级、准入台账和干扰测试说明整卡、MIG与共享调度的选择方法。
GPU资源隔离多模型并发部署MIGGPU共享
大模型推理精度与量化怎么选：BF16、FP8、INT8与INT4
本文从数值格式、量化方式、GPU与推理框架支持、理论权重容量、KV Cache、性能压测和质量回归等维度，说明BF16、FP8、INT8与INT4的适用边界，并给出企业大模型推理部署的选型与验收方法。
大模型量化BF16FP16FP8