К содержанию
Quantoros

Можно ли запустить Triton Inference Server без GPU и что нужно проверить?

ML System DesignУровень: БазаCPU inference backends

Можно ли запустить Triton Inference Server без GPU и что нужно проверить?

Подсказки
  • Проверьте backend модели, а не только название сервера.
  • Разделите функциональную проверку и GPU-бенчмарк.

Ответ

Да, поддерживаемые backend могут выполнять совместимые с CPU модели. Нужно выбрать соответствующий backend и размещение экземпляра, проверить отсутствие GPU-only операций в артефакте. На CPU можно проверить API, жизненный цикл и корректность, но нельзя измерить реальную задержку TensorRT на GPU или throughput ускорителя.

Источник и лицензия: NVIDIA — Triton Inference Server FAQ · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros

Похожие вопросы