Можно ли применять bagging и boosting к логистической регрессии?
Classic MLУровень: ПрактикаML concepts — Sebastian Raschka FAQ
Можно ли применять bagging и boosting к логистической регрессии?
Подсказки
- Отделите линейный скор от функции, превращающей его в вероятность.
- Сопоставьте выбранное распределение целевой переменной и отрицательный логарифм правдоподобия.
Ответ
Технически да, если базовый алгоритм совместим с нужным обучением и весами примеров. Bagging обычно сильнее помогает нестабильным моделям с высокой дисперсией, поэтому для регуляризованной логистической регрессии выигрыш может быть небольшим. Boosting последовательных линейных моделей имеет ограничения выразительности, зависящие от способа объединения. Stacking — другая стратегия с метамоделью по вневыборочным предсказаниям; она не гарантированно лучше. Решение проверяют валидацией.
Источник и лицензия: Sebastian Raschka — Python Machine Learning FAQ · MIT · перевод: Quantoros