Как исследовать медленную загрузку большой модели в ONNX Runtime?
ML System DesignУровень: ПродвинутыйInference cold-start costs
Как исследовать медленную загрузку большой модели в ONNX Runtime?
Подсказки
- Разбейте запуск на чтение, инициализацию и первое выполнение.
- Быстрый прогретый запуск не означает быстрый cold start.
Ответ
Этот ответ — часть менторства
К продвинутым вопросам есть полный разбор и тренировочное собеседование с практикующим квант-ресерчером. Первый созвон бесплатный.
Источник и лицензия: Microsoft — ONNX Runtime FAQ · MIT · ответ: редакция Quantoros · перевод: Quantoros