概念 / 训练 / 微调

大模型参数量怎么看：7B、13B、70B与671B分别意味着什么？

7B、13B、70B和671B表示模型参数规模，但参数量不能单独决定模型能力、推理速度或服务器配置。判断部署需求时，还要区分稠密与MoE架构，并结合权重精度、上下文长度、并发、KV Cache和推理框架计算实际资源。