Можно ли использовать L1-регуляризацию для отбора признаков?
Classic MLУровень: ПрактикаFeature selection
Можно ли использовать L1-регуляризацию для отбора признаков?
Подсказки
- Начните с функции потерь: что меняется при добавлении штрафа на параметры?
- Сравните геометрию ограничений и поведение коэффициента около нуля. Отдельно проверьте роль масштаба признаков.
Ответ
Да. L1 способствует разреженности: часть коэффициентов становится равной нулю. Для отбора можно оставить признаки с ненулевыми коэффициентами у модели с выбранной силой регуляризации.
Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · перевод: Quantoros