К содержанию
Quantoros

Как несколько входов и выходов модели передаются в ONNX Runtime C++ Run?

ML System DesignУровень: ПрактикаTyped inference input contracts

Как несколько входов и выходов модели передаются в ONNX Runtime C++ Run?

Подсказки
  • Явно сопоставьте имена, тензоры и их количество.
  • Кроме форм и типов, проверьте время жизни буферов.

Ответ

Передают согласованные массивы имён входов и тензоров Ort::Value, а также имена нужных выходов. Имена, количество элементов, типы и формы сверяют с метаданными модели: позиционные предположения могут привязать не те данные. Буферы и строки должны жить нужное время. Проверяют каждый выход, а не только первый тензор или успешный код возврата.

Источник и лицензия: Microsoft — ONNX Runtime FAQ · MIT · ответ: редакция Quantoros · перевод: Quantoros

Похожие вопросы