К содержанию
Quantoros

Объясните градиентный бустинг на уровне идеи.

Classic MLУровень: ПрактикаClassical machine learning

Объясните градиентный бустинг на уровне идеи.

Подсказки
  • Что предсказывает очередная модель относительно уже построенного ансамбля?
  • Сопоставьте последовательное добавление моделей с оптимизацией функции потерь.

Ответ

Ансамбль строится последовательно. Новое слабое дерево приближает отрицательный градиент текущей функции потерь; для квадратичной потери это остатки. Его прогноз добавляют с коэффициентом learning rate. Последовательное исправление ошибок делает метод мощным, но требует контроля сложности, числа итераций, подвыборок и ранней остановки.

Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros

Похожие вопросы