AI Infrastructure Knowledge Hub

概念

6 个概念条目

对比2 训练 / 微调1 ai-concept2 model-training1
概念

智能体架构(Agent Architecture)

LLM智能体架构定义模型、工具、状态、记忆和控制循环的组织方式。本文说明单Agent与多Agent模式、顺序、并行、交接和动态编排,以及企业部署中的安全、成本、评估和基础设施要求。

AI 概念 2026-07-23
智能体架构Agent ArchitectureAI AgentLLM Agent
概念

主动学习(Active Learning)

主动学习不是一种独立模型,而是一套“模型选样—人工标注—重新训练—效果评估”的人在回路(Human-in-the-loop)机制。它的目标不是单纯减少标注数量,而是在满足业务质量、合规与交付周期的前提下,提高每单位标注成本带来的模型收益。

模型训练 2026-07-23
主动学习Active Learning数据标注不确定性采样
概念

大模型参数量怎么看:7B、13B、70B与671B分别意味着什么?

7B、13B、70B和671B表示模型参数规模,但参数量不能单独决定模型能力、推理速度或服务器配置。判断部署需求时,还要区分稠密与MoE架构,并结合权重精度、上下文长度、并发、KV Cache和推理框架计算实际资源。

训练 / 微调 2026-07-22
大模型参数量7B模型13B模型70B模型
概念

AI计算中的数值精度怎么选:FP64、TF32、BF16、FP8、INT4与NVFP4解析

本文从动态范围、有效精度、存储格式、计算格式、累加精度、缩放方式和硬件支持出发,说明FP64、FP32、TF32、BF16、FP16、FP8、INT8、INT4与NVFP4的区别,并给出科学计算、大模型训练和推理部署中的判断方法。帮助AI服务器、科学计算和大模型部署人员理解不同数值精度的结构、计算路径及适用边界,避免仅按位宽判断显存、性能和模型质量。

AI 概念 2026-07-17
AI计算精度FP64FP32TF32
概念

PCIe 与 NVLink 有什么区别

PCIe 是连接 CPU、GPU、网卡和存储的通用高速总线,NVLink 是 NVIDIA 面向 GPU 间高速通信的专用互联。本文说明两者的带宽、拓扑、多卡显存、适用任务与服务器选型边界。

对比 2026-07-03
PCIe vs NVLinkPCI Express 与 NVLinkGPU PCIe 互联NVIDIA NVLink