Какие способы регуляризации вы знаете?
Classic MLУровень: ПрактикаRegularization
Какие способы регуляризации вы знаете?
Подсказки
- Начните с функции потерь: что меняется при добавлении штрафа на параметры?
- Сравните геометрию ограничений и поведение коэффициента около нуля. Отдельно проверьте роль масштаба признаков.
Ответ
L1 (Lasso) добавляет к функции потерь штраф λΣ|wᵢ|; L2 (Ridge) — λΣwᵢ². Параметр λ задаёт силу штрафа. L1 способствует разреженным коэффициентам, а L2 ограничивает их общую величину.
Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · перевод: Quantoros