Когда линейной модели нужна нормализация признаков, а когда можно без неё?
Classic MLУровень: ПрактикаRegularization
Когда линейной модели нужна нормализация признаков, а когда можно без неё?
Подсказки
- Как изменение единиц измерения одного признака влияет на расстояния, коэффициенты и оптимизацию?
- Сравните модель со штрафом и без него; на какой части данных допустимо оценивать параметры преобразования?
Ответ
Масштабирование важно для L1/L2-штрафов и устойчивой оптимизации: смена метров на миллиметры меняет величину коэффициента и его штраф. Нерегуляризованный МНК со свободным членом в точной арифметике сохраняет прогнозы при обратимом масштабировании, но численная обусловленность может улучшиться. Scaler обучают только на train и повторно применяют к новым данным; центрирование разреженной матрицы может её уплотнить. В ridge штраф добавляется к XᵀX: получается XᵀX + λI.
Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · ответ: редакция Quantoros · перевод: Quantoros