К содержанию
Quantoros

Как ограничить CPU-потоки ONNX Runtime и избежать oversubscription?

ML System DesignУровень: ПрактикаCPU inference thread budgets

Как ограничить CPU-потоки ONNX Runtime и избежать oversubscription?

Подсказки
  • Разделите параллельные операции и потоки внутри одной операции.
  • Посчитайте также сессии и потоки внешних библиотек.

Ответ

Различайте intra-op параллелизм внутри операции и inter-op выполнение разных операций, учитывайте threading runtime сборки. Для однопоточного теста ограничьте intra-op одним потоком и выберите последовательное выполнение; OpenMP-сборкам может требоваться OMP_NUM_THREADS. Считайте общий бюджет сессий и внешних библиотек, затем измеряйте throughput и хвост задержек.

Источник и лицензия: Microsoft — ONNX Runtime FAQ · MIT · ответ: редакция Quantoros · перевод: Quantoros

Похожие вопросы