Как выглядит L2-регуляризация линейной модели?
Classic MLУровень: ПрактикаRegularization
Как выглядит L2-регуляризация линейной модели?
Подсказки
- Начните с функции потерь: что меняется при добавлении штрафа на параметры?
- Сравните геометрию ограничений и поведение коэффициента около нуля. Отдельно проверьте роль масштаба признаков.
Ответ
К исходной функции потерь добавляют λΣwᵢ² — сумму квадратов коэффициентов, умноженную на силу регуляризации. Штраф стягивает коэффициенты к нулю и особенно полезен при большом числе коррелирующих признаков.
Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · перевод: Quantoros