Гарантирует ли GPU-сборка ONNX Runtime быстрое выполнение любой квантованной модели?
GPU / CUDAУровень: ПродвинутыйQuantized execution-provider coverage
Гарантирует ли GPU-сборка ONNX Runtime быстрое выполнение любой квантованной модели?
Подсказки
- Проверьте provider каждой части вычислительного графа.
- Могут ли преобразования и передачи съесть выигрыш вычислений?
Ответ
Этот ответ — часть менторства
К продвинутым вопросам есть полный разбор и тренировочное собеседование с практикующим квант-ресерчером. Первый созвон бесплатный.
Источник и лицензия: Microsoft — ONNX Runtime FAQ · MIT · ответ: редакция Quantoros · перевод: Quantoros