Когда требуется нормализация или стандартизация данных?
Classic MLУровень: ПрактикаML concepts — Sebastian Raschka FAQ
Когда требуется нормализация или стандартизация данных?
Подсказки
- Как изменение единиц измерения одного признака влияет на расстояния, коэффициенты и оптимизацию?
- Сравните модель со штрафом и без него; на какой части данных допустимо оценивать параметры преобразования?
Ответ
Масштаб важен для расстояний в kNN и k-means, регуляризованных линейных моделей, многих SVM и оптимизации нейросетей. PCA зависит от относительных дисперсий, поэтому стандартизация меняет саму постановку и не всегда нужна. Осевые деревья обычно устойчивы к монотонному масштабированию отдельных признаков. Стандартизация задаёт нулевое среднее и единичную дисперсию, min-max — диапазон; это не одно и то же и не гарантия нормальности. Оценивайте scaler только на train и применяйте с учётом смысла признаков.
Источник и лицензия: Sebastian Raschka — Python Machine Learning FAQ · MIT · перевод: Quantoros