Чем отличаются L1- и L2-регуляризация?
Classic MLУровень: ПрактикаRegularization
Чем отличаются L1- и L2-регуляризация?
Подсказки
- Начните с функции потерь: что меняется при добавлении штрафа на параметры?
- Сравните геометрию ограничений и поведение коэффициента около нуля. Отдельно проверьте роль масштаба признаков.
Ответ
L1 штрафует сумму абсолютных коэффициентов и может занулять часть из них, поэтому подходит для отбора признаков. L2 штрафует сумму квадратов и обычно плавно уменьшает коэффициенты, помогая при мультиколлинеарности. У квадратичной линейной задачи с L2 есть аналитическое решение; для L1 обычно используют численную оптимизацию.
Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · перевод: Quantoros