Как сервису не на Python и не на C++ обращаться к Triton?
ML System DesignУровень: ПрактикаInference client protocols
Как сервису не на Python и не на C++ обращаться к Triton?
Подсказки
- Подумайте о сетевом протоколе, а не только библиотеке.
- Какие параметры запроса должны совпадать с моделью?
Ответ
Можно использовать поддерживаемый HTTP-протокол или сгенерировать gRPC-клиент по определениям сервиса для нужного языка. Готовые клиентские библиотеки удобны, но не обязательны. Проверяют имена, формы и типы тензоров, таймауты и ошибки. В измерениях учитывают сериализацию и транспорт, а не только время выполнения модели.
Источник и лицензия: NVIDIA — Triton Inference Server FAQ · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros