Обязателен ли Docker для развёртывания Triton Inference Server?
ML System DesignУровень: ПрактикаInference packaging
Обязателен ли Docker для развёртывания Triton Inference Server?
Подсказки
- Отделите упаковку окружения от функциональности инференса.
- Кто отвечает за версии библиотек в каждом варианте?
Ответ
Нет, сервер можно собрать и запускать без контейнера. Контейнер упрощает воспроизведение совместимых версий сервера, backend и библиотек. При запуске на хосте эти зависимости и совместимость драйвера GPU нужно контролировать самостоятельно. В обоих случаях нужны управление доступом, мониторинг и план отката.
Источник и лицензия: NVIDIA — Triton Inference Server FAQ · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros