К содержанию
Quantoros

Как автоматически масштабировать инференс LLM в Kubernetes?

ML System DesignУровень: ПрактикаAuto-Scaling & Cloud

Как автоматически масштабировать инференс LLM в Kubernetes?

Подсказки
  • Начните с требований к качеству, нагрузке и задержке.
  • Проследите путь данных до предсказания; укажите точку отказа и способ проверки решения.

Ответ

Перед пулом GPU-реплик размещают маршрутизатор и ограниченную очередь. Масштабирование лучше связывать с очередью, токеновой нагрузкой, активными запросами и нарушением целевой задержки, а не только CPU. Учитывают длительную загрузку модели, прогрев, выделение GPU, ограничения параллелизма и доступность весов. Для интерактивного SLO часто нужен тёплый резерв; scale-to-zero подходит только при допустимом холодном старте. HPA с пользовательскими метриками или KEDA — возможные механизмы. Добавляют backpressure, лимиты стоимости, graceful draining и проверяют всплески нагрузки и отказ узла.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы