К содержанию
Quantoros

Можно ли применять bagging и boosting к логистической регрессии?

Classic MLУровень: ПрактикаML concepts — Sebastian Raschka FAQ

Можно ли применять bagging и boosting к логистической регрессии?

Подсказки
  • Отделите линейный скор от функции, превращающей его в вероятность.
  • Сопоставьте выбранное распределение целевой переменной и отрицательный логарифм правдоподобия.

Ответ

Технически да, если базовый алгоритм совместим с нужным обучением и весами примеров. Bagging обычно сильнее помогает нестабильным моделям с высокой дисперсией, поэтому для регуляризованной логистической регрессии выигрыш может быть небольшим. Boosting последовательных линейных моделей имеет ограничения выразительности, зависящие от способа объединения. Stacking — другая стратегия с метамоделью по вневыборочным предсказаниям; она не гарантированно лучше. Решение проверяют валидацией.

Источник и лицензия: Sebastian Raschka — Python Machine Learning FAQ · MIT · перевод: Quantoros

Похожие вопросы