К содержанию
Quantoros

Какие настройки Triton помогают при низкой загрузке GPU и чем это может обернуться?

GPU / CUDAУровень: ПрактикаServing concurrency and batching

Какие настройки Triton помогают при низкой загрузке GPU и чем это может обернуться?

Подсказки
  • Различите батчинг и дополнительные экземпляры модели.
  • Какое ограничение может ухудшиться при росте параллелизма?

Ответ

Dynamic batching объединяет совместимые запросы, а дополнительные экземпляры и конкурентные модели дают больше параллельной работы. Настройки подбирают с ограничениями по памяти и задержке. Экземпляры могут дублировать веса и конкурировать за ресурсы, ожидание батча — ухудшать хвост задержек. Сначала находят bottleneck: подготовка, передача, очередь или GPU.

Источник и лицензия: NVIDIA — Triton Inference Server FAQ · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros

Похожие вопросы