К содержанию
Quantoros

Когда линейной модели нужна нормализация признаков, а когда можно без неё?

Classic MLУровень: ПрактикаRegularization

Когда линейной модели нужна нормализация признаков, а когда можно без неё?

Подсказки
  • Как изменение единиц измерения одного признака влияет на расстояния, коэффициенты и оптимизацию?
  • Сравните модель со штрафом и без него; на какой части данных допустимо оценивать параметры преобразования?

Ответ

Масштабирование важно для L1/L2-штрафов и устойчивой оптимизации: смена метров на миллиметры меняет величину коэффициента и его штраф. Нерегуляризованный МНК со свободным членом в точной арифметике сохраняет прогнозы при обратимом масштабировании, но численная обусловленность может улучшиться. Scaler обучают только на train и повторно применяют к новым данным; центрирование разреженной матрицы может её уплотнить. В ridge штраф добавляется к XᵀX: получается XᵀX + λI.

Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · ответ: редакция Quantoros · перевод: Quantoros

Похожие вопросы