Как автоматически масштабировать инференс LLM в Kubernetes?
ML System DesignУровень: ПрактикаAuto-Scaling & Cloud
Как автоматически масштабировать инференс LLM в Kubernetes?
Подсказки
- Начните с требований к качеству, нагрузке и задержке.
- Проследите путь данных до предсказания; укажите точку отказа и способ проверки решения.
Ответ
Перед пулом GPU-реплик размещают маршрутизатор и ограниченную очередь. Масштабирование лучше связывать с очередью, токеновой нагрузкой, активными запросами и нарушением целевой задержки, а не только CPU. Учитывают длительную загрузку модели, прогрев, выделение GPU, ограничения параллелизма и доступность весов. Для интерактивного SLO часто нужен тёплый резерв; scale-to-zero подходит только при допустимом холодном старте. HPA с пользовательскими метриками или KEDA — возможные механизмы. Добавляют backpressure, лимиты стоимости, graceful draining и проверяют всплески нагрузки и отказ узла.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros