К содержанию
Quantoros

Чем отличаются L1- и L2-регуляризация?

Classic MLУровень: ПрактикаRegularization

Чем отличаются L1- и L2-регуляризация?

Подсказки
  • Начните с функции потерь: что меняется при добавлении штрафа на параметры?
  • Сравните геометрию ограничений и поведение коэффициента около нуля. Отдельно проверьте роль масштаба признаков.

Ответ

L1 штрафует сумму абсолютных коэффициентов и может занулять часть из них, поэтому подходит для отбора признаков. L2 штрафует сумму квадратов и обычно плавно уменьшает коэффициенты, помогая при мультиколлинеарности. У квадратичной линейной задачи с L2 есть аналитическое решение; для L1 обычно используют численную оптимизацию.

Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · перевод: Quantoros

Похожие вопросы