К содержанию
Quantoros

Как выглядит L2-регуляризация линейной модели?

Classic MLУровень: ПрактикаRegularization

Как выглядит L2-регуляризация линейной модели?

Подсказки
  • Начните с функции потерь: что меняется при добавлении штрафа на параметры?
  • Сравните геометрию ограничений и поведение коэффициента около нуля. Отдельно проверьте роль масштаба признаков.

Ответ

К исходной функции потерь добавляют λΣwᵢ² — сумму квадратов коэффициентов, умноженную на силу регуляризации. Штраф стягивает коэффициенты к нулю и особенно полезен при большом числе коррелирующих признаков.

Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · перевод: Quantoros

Похожие вопросы