AIBrix 容器镜像#
概述#
AIBrix 为 vLLM 和 SGLang 提供了增强的容器镜像，其中包含分布式推理和 KV 缓存分离的附加功能
aibrix_kvcache - 从源代码构建，用于支持 KV 缓存分离
nixl + nixl-cu12 - 基于 UCX 的用于 RDMA 的高性能网络库
UCX 工具 - 预装的调试和性能测试实用程序
镜像命名约定#
AIBrix 镜像通过附加功能扩展了上游推理引擎
上游镜像 |
AIBrix 增强镜像 |
用例 |
|---|---|---|
|
|
vLLM + KVCache + RDMA |
|
|
SGLang + KVCache + RDMA |
何时使用 AIBrix 镜像#
当您需要以下功能时，请使用 AIBrix 增强镜像：
KV 缓存卸载：将 KV 缓存卸载到主机内存或远程存储
预填充-解码分离：通过 NIXL 分离预填充和解码工作负载
对于以下情况，请使用 上游镜像：
不带分离功能的标准单节点推理
无需专用网络的开发和测试
兼容性矩阵#
下表显示了 AIBrix v0.5.0 测试的组件版本
组件 |
vLLM 镜像 |
SGLang 镜像 |
备注 |
|---|---|---|---|
引擎版本 |
v0.10.2 |
v0.5.5.post3 |
稳定的推理引擎 |
CUDA 版本 |
12.8 |
12.9 |
CUDA 工具包版本 |
PyTorch 版本 |
2.8 |
2.9 |
从基础镜像自动检测 |
AIBrix KVCache |
v0.5.0 |
v0.5.0 |
KV 缓存分离支持 |
NIXL 版本 |
0.7.1 |
0.7.1 |
基于 UCX 的 RDMA 网络 |
UCX 版本 |
1.19.0 |
1.19.0 |
统一通信 X |
注意
PyTorch 版本从上游基础镜像中自动提取，以确保兼容性。AIBrix KVCache 是针对基础镜像中确切的 PyTorch 版本构建的。
已发布镜像 (v0.5.0)#
以下预构建镜像可立即使用
vLLM 镜像
docker pull aibrix/vllm-openai:v0.10.2-aibrix-v0.5.0-nixl-0.7.1-20251123
SGLang 镜像
docker pull aibrix/sglang:v0.5.5.post3-aibrix-v0.5.0-nixl-0.7.1-20251123
构建自定义镜像#
有关详细的构建说明和故障排除，请参阅 build/container/README.md。
版本历史#
v0.5.0#
vLLM: v0.10.2 与 CUDA 12.8, PyTorch 2.8
SGLang: v0.5.5.post3 与 CUDA 12.9, PyTorch 2.9
AIBrix KVCache: v0.5.0
NIXL: 0.7.1
UCX: 1.19.0
功能
完整的 KV 缓存卸载支持
用于分布式推理的 RDMA 网络
预填充-解码分离支持
故障排除#
性能问题#
对于 RDMA 网络问题
验证 RDMA 设备是否可用：
ibv_devices检查 UCX 配置：
ucx_info -d测试 RDMA 带宽：
ib_write_bw确保安全策略允许 RDMA 访问
要运行镜像中包含的调试实用程序，请执行
kubectl exec -it <pod-name> -- ucx_info -d
kubectl exec -it <pod-name> -- ibv_devices
kubectl exec -it <pod-name> -- ib_write_bw