К содержанию
Quantoros

Как сервису не на Python и не на C++ обращаться к Triton?

ML System DesignУровень: ПрактикаInference client protocols

Как сервису не на Python и не на C++ обращаться к Triton?

Подсказки
  • Подумайте о сетевом протоколе, а не только библиотеке.
  • Какие параметры запроса должны совпадать с моделью?

Ответ

Можно использовать поддерживаемый HTTP-протокол или сгенерировать gRPC-клиент по определениям сервиса для нужного языка. Готовые клиентские библиотеки удобны, но не обязательны. Проверяют имена, формы и типы тензоров, таймауты и ошибки. В измерениях учитывают сериализацию и транспорт, а не только время выполнения модели.

Источник и лицензия: NVIDIA — Triton Inference Server FAQ · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros

Похожие вопросы