Apache Kafka
Apache Kafka是分布式事件流平台，可用于实时数据管道、异步推理、事件回放和系统解耦。本文说明Kafka 4.x的KRaft架构、核心概念、AI场景、容量规划及与RabbitMQ、Pulsar的选择边界。
Apache KafkaKafka事件流平台消息中间件
AI Infrastructure Knowledge Hub
软件
5 个软件条目
Argo Workflows
Argo Workflows是运行在Kubernetes上的容器工作流引擎，支持DAG和Steps编排。本文说明其核心机制、AI训练与批量推理场景、部署组件及与Airflow、Kubeflow Pipelines的选择边界。
Argo WorkflowsKubernetes 工作流DAG 编排AI 任务编排
NVIDIA Triton Inference Server
NVIDIA Triton Inference Server 是面向 AI 模型服务化的推理服务器，支持多框架模型部署、动态批处理和生产推理服务。
softwareinferencemodel-servingnvidia
TensorRT-LLM
TensorRT-LLM 是 NVIDIA 面向大语言模型推理优化的开源推理框架，强调在 NVIDIA GPU 上获得更高吞吐与更低延迟。
tensorrt-llmllm-inferencenvidiacuda
vLLM
vLLM 是面向大语言模型推理与服务化部署的开源引擎，以高吞吐、PagedAttention 和 OpenAI 兼容接口著称。
vllmllm-servingpagedattentionopenai-compatible