Можно ли запустить Triton Inference Server без GPU и что нужно проверить?
ML System DesignУровень: БазаCPU inference backends
Можно ли запустить Triton Inference Server без GPU и что нужно проверить?
Подсказки
- Проверьте backend модели, а не только название сервера.
- Разделите функциональную проверку и GPU-бенчмарк.
Ответ
Да, поддерживаемые backend могут выполнять совместимые с CPU модели. Нужно выбрать соответствующий backend и размещение экземпляра, проверить отсутствие GPU-only операций в артефакте. На CPU можно проверить API, жизненный цикл и корректность, но нельзя измерить реальную задержку TensorRT на GPU или throughput ускорителя.
Источник и лицензия: NVIDIA — Triton Inference Server FAQ · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros