К содержанию
Quantoros

Гарантирует ли GPU-сборка ONNX Runtime быстрое выполнение любой квантованной модели?

GPU / CUDAУровень: ПродвинутыйQuantized execution-provider coverage

Гарантирует ли GPU-сборка ONNX Runtime быстрое выполнение любой квантованной модели?

Подсказки
  • Проверьте provider каждой части вычислительного графа.
  • Могут ли преобразования и передачи съесть выигрыш вычислений?

Ответ

Этот ответ — часть менторства

К продвинутым вопросам есть полный разбор и тренировочное собеседование с практикующим квант-ресерчером. Первый созвон бесплатный.

Источник и лицензия: Microsoft — ONNX Runtime FAQ · MIT · ответ: редакция Quantoros · перевод: Quantoros

Похожие вопросы