У признака высокая permutation importance на train, но нулевая на holdout. О чём это говорит?
Classic MLУровень: ПрактикаGeneralizing feature reliance
У признака высокая permutation importance на train, но нулевая на holdout. О чём это говорит?
Подсказки
- Сравните зависимость модели и пользу вне train.
- Запомненный паттерн может быть важен на обучении.
Ответ
Модель может опираться на необобщающийся паттерн. Проверьте утечку, случайную подгонку и сдвиг данных; важность на train не доказывает полезность на проде.
Источник и лицензия: scikit-learn 1.7.2 — permutation importance · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros