安装#
本指南介绍了如何在不同平台上安装AIBrix清单。
目前，AIBrix的安装不依赖于其他云特定功能。它与原生Kubernetes完全兼容。
在云Kubernetes集群上安装AIBrix#
注意
AIBrix需要Envoy Gateway用于请求路由。
KubeRay是可选的，只有在您计划使用Ray作为分布式推理运行时（RayClusterFleet, RayClusterReplicaSet）时才需要。
AIBrix可以在没有KubeRay的情况下运行——对单节点和多节点推理工作负载使用StormService。如果未检测到KubeRay CRD，分布式推理控制器将自动跳过。
稳定版本#
# Install component dependencies
kubectl apply -f https://github.com/vllm-project/aibrix/releases/download/v0.5.0/aibrix-dependency-v0.5.0.yaml --server-side
# Install aibrix components
kubectl apply -f https://github.com/vllm-project/aibrix/releases/download/v0.5.0/aibrix-core-v0.5.0.yaml
使用Helm的稳定版本#
先决条件#
Envoy Gateway
# Install envoy-gateway, this is not aibrix component. you can also use helm package to install it.
helm install eg oci://docker.io/envoyproxy/gateway-helm --version v1.2.8 -n envoy-gateway-system --create-namespace
# patch the configuration to enable EnvoyPatchPolicy, this is super important!
kubectl apply -f - <<EOF
apiVersion: v1
kind: ConfigMap
metadata:
name: envoy-gateway-config
namespace: envoy-gateway-system
data:
envoy-gateway.yaml: |
apiVersion: gateway.envoyproxy.io/v1alpha1
kind: EnvoyGateway
provider:
type: Kubernetes
gateway:
controllerName: gateway.envoyproxy.io/gatewayclass-controller
extensionApis:
enableEnvoyPatchPolicy: true
EOF
注意
如果您遇到 docker.io 的网络问题，您可以从代码仓库 envoyproxy/gateway 安装 Helm chart。
KubeRay operator (可选)
注意
如果您不需要基于Ray的分布式推理，请跳过此步骤。AIBrix在没有KubeRay的情况下也可以用于基于StormService的工作负载。
# Install KubeRay operator (only if you need RayClusterFleet/RayClusterReplicaSet)
helm repo add kuberay https://ray-project.github.io/kuberay-helm/
helm repo update
helm install kuberay-operator kuberay/kuberay-operator --namespace aibrix-system \
--create-namespace \
--version 1.2.1 \
--set-string 'env[0].name=ENABLE_PROBES_INJECTION' \
--set-string 'env[0].value=false' \
--set fullnameOverride=kuberay-operator \
--set 'featureGates[0].name=RayClusterStatusConditions' \
--set 'featureGates[0].enabled=true' \
--set image.repository=aibrix/kuberay-operator \
--set image.tag=v1.2.1-patch-20250726
使用Helm安装AIBrix#
# Install AIBrix CRDs. `--install-crds` is not available in local chart installation.
kubectl apply -f dist/chart/crds/
# Install AIBrix with the pinned release version:
helm install aibrix dist/chart -f dist/chart/stable.yaml -n aibrix-system --create-namespace
使用Helm升级AIBrix#
helm upgrade aibrix dist/chart -f dist/chart/values.yaml -n aibrix-system
使用Helm卸载AIBrix#
helm uninstall aibrix -n aibrix-system
helm uninstall kuberay-operator -n aibrix-system
helm uninstall eg -n envoy-gateway-system
每夜构建版本#
# clone the latest repo
git clone https://github.com/vllm-project/aibrix.git
cd aibrix
# Install component dependencies
kubectl apply -k config/dependency --server-side
kubectl apply -k config/default
在测试环境中安装AIBrix#
安装AIBrix单个组件#
自动伸缩器#
kubectl apply -k config/standalone/autoscaler-controller/
分布式推理 (基于Ray)#
注意
这要求首先安装KubeRay operator。
kubectl apply -k config/standalone/distributed-inference-controller/
模型适配器(Lora)#
kubectl apply -k config/standalone/model-adapter-controller
KV缓存#
kubectl apply -k config/standalone/kv-cache-controller
禁用控制器#
如果您安装AIBrix时默认启用了所有控制器但没有安装KubeRay，则分布式推理控制器将自动跳过并显示日志消息。
要显式禁用特定控制器，请使用 --controllers 标志
# Example: Enable all controllers except distributed-inference-controller
--controllers=*,-distributed-inference-controller
# Example: Only enable specific controllers
--controllers=stormservice-controller,model-adapter-controller,pod-autoscaler-controller
可用控制器
pod-autoscaler-controller: HPA/KPA风格的自动伸缩distributed-inference-controller: 基于Ray的分布式推理 (需要KubeRay)model-adapter-controller: LoRA适配器管理kv-cache-controller: 带有一致性哈希的分布式KV缓存服务器编排stormservice-controller: 支持P/D和AFD的多节点编排