Объясните градиентный бустинг на уровне идеи.
Classic MLУровень: ПрактикаClassical machine learning
Объясните градиентный бустинг на уровне идеи.
Подсказки
- Что предсказывает очередная модель относительно уже построенного ансамбля?
- Сопоставьте последовательное добавление моделей с оптимизацией функции потерь.
Ответ
Ансамбль строится последовательно. Новое слабое дерево приближает отрицательный градиент текущей функции потерь; для квадратичной потери это остатки. Его прогноз добавляют с коэффициентом learning rate. Последовательное исправление ошибок делает метод мощным, но требует контроля сложности, числа итераций, подвыборок и ранней остановки.
Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros