Что такое непрерывное пакетирование и зачем оно нужно?
ML System DesignУровень: ПрактикаInference Optimization
Что такое непрерывное пакетирование и зачем оно нужно?
Подсказки
- Разделите подготовку входа, вычисление предсказания, очередь и передачу данных.
- Как изменятся задержка одного запроса, пропускная способность и память при увеличении батча?
Ответ
При статическом batch новые запросы часто ждут завершения всей группы, хотя часть последовательностей уже закончилась. Continuous batching пересматривает состав на шагах генерации: завершённые запросы удаляют, новые добавляют в освободившиеся ресурсы. Это обычно повышает загрузку и throughput при разной длине ответов, но не гарантирует максимальной загрузки GPU. Планировщик должен учитывать prefill, декодирование, доступный KV-кэш, справедливость и SLO. Большая конкурентность может ухудшить задержку отдельного запроса, поэтому оценивают throughput вместе с TTFT и временем между токенами.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros