К содержанию
Quantoros

Что такое vLLM и как он работает?

ML System DesignУровень: ПрактикаModel Serving Frameworks

Что такое vLLM и как он работает?

Подсказки
  • Начните с требований к качеству, нагрузке и задержке.
  • Проследите путь данных до предсказания; укажите точку отказа и способ проверки решения.

Ответ

vLLM — система обслуживания языковых моделей, известная PagedAttention: KV-кэш хранится в логических блоках, которым не обязательно быть смежными в памяти. Это уменьшает потери от резервирования и фрагментации и позволяет эффективнее обслуживать запросы разной длины. Непрерывное пакетирование добавляет и удаляет последовательности между шагами генерации; поддерживаются различные способы распределённого инференса. Выигрыш зависит от модели, нагрузки и SLO, а не фиксированного множителя. При запуске задают модель, параллелизм и лимиты ресурсов; точные команды и форматы квантования сверяют с установленной версией.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы