Как оценить важность признаков в градиентном бустинге?
Classic MLУровень: ПрактикаGradient boosting
Как оценить важность признаков в градиентном бустинге?
Подсказки
- Что предсказывает очередная модель относительно уже построенного ансамбля?
- Сопоставьте последовательное добавление моделей с оптимизацией функции потерь.
Ответ
Один вариант — SHAP: например, CatBoost предоставляет соответствующий режим get_feature_importance. Он позволяет разбирать вклад признаков в прогнозы. В источнике также предложено добавить случайный шумовой признак как ориентир для сравнения важностей и проверить исключение признаков, оказавшихся слабее него.
Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · перевод: Quantoros