Что такое vLLM и как он работает?
ML System DesignУровень: ПрактикаModel Serving Frameworks
Что такое vLLM и как он работает?
Подсказки
- Начните с требований к качеству, нагрузке и задержке.
- Проследите путь данных до предсказания; укажите точку отказа и способ проверки решения.
Ответ
vLLM — система обслуживания языковых моделей, известная PagedAttention: KV-кэш хранится в логических блоках, которым не обязательно быть смежными в памяти. Это уменьшает потери от резервирования и фрагментации и позволяет эффективнее обслуживать запросы разной длины. Непрерывное пакетирование добавляет и удаляет последовательности между шагами генерации; поддерживаются различные способы распределённого инференса. Выигрыш зависит от модели, нагрузки и SLO, а не фиксированного множителя. При запуске задают модель, параллелизм и лимиты ресурсов; точные команды и форматы квантования сверяют с установленной версией.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros