自动扩缩

自动扩缩容#

AIBrix 自动扩缩容概述#

自动扩缩容对于在 Kubernetes (K8s) 上部署大型语言模型 (LLM) 服务至关重要，因为及时扩容可以处理请求流量高峰，而当需求减弱时缩容则可以节省资源。