AIBrix 架构

AIBrix 架构概述。本指南介绍了 AIBrix 生态系统，并解释了其组件如何融入 LLM 推理生命周期。

下图概述了 AIBrix 生态系统及其与更广泛的 Kubernetes 和 LLM 格局的关系。

AIBrix 包含控制平面组件和数据平面组件。控制平面组件管理模型元数据注册、自动扩缩、模型适配器注册以及执行各种类型的策略。数据平面组件提供可配置的组件，用于调度、排程和提供推理请求，从而实现灵活且高性能的模型执行。

AIBrix 控制平面

AIBrix 目前提供多个控制平面组件。

• 模型适配器 (Lora) 控制器：实现每个 Pod 多个 LoRA 部署，显著提高可扩展性和资源效率。

• RayClusterFleet：协调多节点推理，确保分布式环境中的最佳性能。

• LLM 专用自动扩缩：实现实时、秒级扩缩，利用 KV 缓存利用率和推理感知指标动态优化资源分配

• GPU 优化器：基于分析器的优化器，可优化异构服务，动态调整分配以最大化成本效率，同时保持服务保证

• AI 引擎运行时：一个轻量级边车，可卸载管理任务、执行策略并抽象引擎交互。

• 加速器诊断工具：提供自动故障检测和模拟测试，以提高容错能力。

AIBrix 数据平面

AIBrix 目前提供多个数据平面组件

• 请求路由器：作为中央请求调度器，执行公平策略、速率控制 (TPM/RPM) 和工作负载隔离。

• 分布式 KV 缓存运行时：提供跨节点的可扩展、低延迟缓存访问。通过启用 KV 缓存重用，它减少了冗余计算并提高了令牌生成效率。