Как несколько входов и выходов модели передаются в ONNX Runtime C++ Run?
ML System DesignУровень: ПрактикаTyped inference input contracts
Как несколько входов и выходов модели передаются в ONNX Runtime C++ Run?
Подсказки
- Явно сопоставьте имена, тензоры и их количество.
- Кроме форм и типов, проверьте время жизни буферов.
Ответ
Передают согласованные массивы имён входов и тензоров Ort::Value, а также имена нужных выходов. Имена, количество элементов, типы и формы сверяют с метаданными модели: позиционные предположения могут привязать не те данные. Буферы и строки должны жить нужное время. Проверяют каждый выход, а не только первый тензор или успешный код возврата.
Источник и лицензия: Microsoft — ONNX Runtime FAQ · MIT · ответ: редакция Quantoros · перевод: Quantoros