Можно ли распараллелить обучение градиентного бустинга?
Classic MLУровень: ПрактикаGradient boosting
Можно ли распараллелить обучение градиентного бустинга?
Подсказки
- Что предсказывает очередная модель относительно уже построенного ансамбля?
- Сопоставьте последовательное добавление моделей с оптимизацией функции потерь.
Ответ
Да, библиотеки ускоряют вычисления внутри обучения, в том числе на GPU, хотя последовательность добавления деревьев сохраняется. Источник приводит исторический параметр XGBoost tree_method='gpu_hist'. Конкретный GPU-интерфейс следует сверять с версией библиотеки.
Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · перевод: Quantoros