Что даёт Triton Inference Server, если модель уже запускается через API фреймворка?
ML System DesignУровень: ПрактикаTriton serving responsibilities
Что даёт Triton Inference Server, если модель уже запускается через API фреймворка?
Подсказки
- Разделите вычисление модели и обслуживание запросов.
- Подумайте о планировщике, протоколах и версиях моделей.
Ответ
Это слой обслуживания моделей: протоколы запросов, конкурентное выполнение, батчинг, управление версиями и разные backend. Качество предсказаний само по себе не улучшается. Сначала проверяют эквивалентность входной обработки и выходов, затем задержку и throughput всего сервиса. Triton Inference Server — не язык Triton для написания GPU-ядер.
Источник и лицензия: NVIDIA — Triton Inference Server FAQ · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros