Как предоставить несколько независимых checkpoint через одну точку входа с vLLM API?
LLM & AIУровень: ПрактикаvLLM model routing
Как предоставить несколько независимых checkpoint через одну точку входа с vLLM API?
Подсказки
- Разделите независимые checkpoint и адаптеры одной базы.
- Где разместить маршрутизацию по имени модели и лимиты?
Ответ
В зафиксированном FAQ один экземпляр сервера обслуживает одну базовую модель: запускают несколько экземпляров и gateway, который сопоставляет имя модели с backend. Несколько LoRA одной базы — другая возможность, не произвольные независимые checkpoint. Проверьте возможности установленной версии, лимиты ресурсов и корректность выбора модели вместо незаметного fallback.
Источник и лицензия: vLLM contributors — FAQ · Apache-2.0 · ответ: редакция Quantoros · перевод: Quantoros