Какие настройки Triton помогают при низкой загрузке GPU и чем это может обернуться?
GPU / CUDAУровень: ПрактикаServing concurrency and batching
Какие настройки Triton помогают при низкой загрузке GPU и чем это может обернуться?
Подсказки
- Различите батчинг и дополнительные экземпляры модели.
- Какое ограничение может ухудшиться при росте параллелизма?
Ответ
Dynamic batching объединяет совместимые запросы, а дополнительные экземпляры и конкурентные модели дают больше параллельной работы. Настройки подбирают с ограничениями по памяти и задержке. Экземпляры могут дублировать веса и конкурировать за ресурсы, ожидание батча — ухудшать хвост задержек. Сначала находят bottleneck: подготовка, передача, очередь или GPU.
Источник и лицензия: NVIDIA — Triton Inference Server FAQ · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros