К содержанию
Quantoros

Что такое непрерывное пакетирование и зачем оно нужно?

ML System DesignУровень: ПрактикаInference Optimization

Что такое непрерывное пакетирование и зачем оно нужно?

Подсказки
  • Разделите подготовку входа, вычисление предсказания, очередь и передачу данных.
  • Как изменятся задержка одного запроса, пропускная способность и память при увеличении батча?

Ответ

При статическом batch новые запросы часто ждут завершения всей группы, хотя часть последовательностей уже закончилась. Continuous batching пересматривает состав на шагах генерации: завершённые запросы удаляют, новые добавляют в освободившиеся ресурсы. Это обычно повышает загрузку и throughput при разной длине ответов, но не гарантирует максимальной загрузки GPU. Планировщик должен учитывать prefill, декодирование, доступный KV-кэш, справедливость и SLO. Большая конкурентность может ухудшить задержку отдельного запроса, поэтому оценивают throughput вместе с TTFT и временем между токенами.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы