К содержанию
Quantoros

Обязателен ли Docker для развёртывания Triton Inference Server?

ML System DesignУровень: ПрактикаInference packaging

Обязателен ли Docker для развёртывания Triton Inference Server?

Подсказки
  • Отделите упаковку окружения от функциональности инференса.
  • Кто отвечает за версии библиотек в каждом варианте?

Ответ

Нет, сервер можно собрать и запускать без контейнера. Контейнер упрощает воспроизведение совместимых версий сервера, backend и библиотек. При запуске на хосте эти зависимости и совместимость драйвера GPU нужно контролировать самостоятельно. В обоих случаях нужны управление доступом, мониторинг и план отката.

Источник и лицензия: NVIDIA — Triton Inference Server FAQ · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros

Похожие вопросы