К содержанию
Quantoros

Как предоставить несколько независимых checkpoint через одну точку входа с vLLM API?

LLM & AIУровень: ПрактикаvLLM model routing

Как предоставить несколько независимых checkpoint через одну точку входа с vLLM API?

Подсказки
  • Разделите независимые checkpoint и адаптеры одной базы.
  • Где разместить маршрутизацию по имени модели и лимиты?

Ответ

В зафиксированном FAQ один экземпляр сервера обслуживает одну базовую модель: запускают несколько экземпляров и gateway, который сопоставляет имя модели с backend. Несколько LoRA одной базы — другая возможность, не произвольные независимые checkpoint. Проверьте возможности установленной версии, лимиты ресурсов и корректность выбора модели вместо незаметного fallback.

Источник и лицензия: vLLM contributors — FAQ · Apache-2.0 · ответ: редакция Quantoros · перевод: Quantoros

Похожие вопросы