Как ограничить CPU-потоки ONNX Runtime и избежать oversubscription?
ML System DesignУровень: ПрактикаCPU inference thread budgets
Как ограничить CPU-потоки ONNX Runtime и избежать oversubscription?
Подсказки
- Разделите параллельные операции и потоки внутри одной операции.
- Посчитайте также сессии и потоки внешних библиотек.
Ответ
Различайте intra-op параллелизм внутри операции и inter-op выполнение разных операций, учитывайте threading runtime сборки. Для однопоточного теста ограничьте intra-op одним потоком и выберите последовательное выполнение; OpenMP-сборкам может требоваться OMP_NUM_THREADS. Считайте общий бюджет сессий и внешних библиотек, затем измеряйте throughput и хвост задержек.
Источник и лицензия: Microsoft — ONNX Runtime FAQ · MIT · ответ: редакция Quantoros · перевод: Quantoros