К содержанию
Quantoros

Почему тестовые данные нужно преобразовывать параметрами обучающей выборки?

Classic MLУровень: ПрактикаML concepts — Sebastian Raschka FAQ

Почему тестовые данные нужно преобразовывать параметрами обучающей выборки?

Подсказки
  • Сформулируйте задачу, входные данные и то, что модель должна предсказывать.
  • Сравните метод с простым baseline: допущения, функция потерь и независимая проверка.

Ответ

Модель обучается в определённой системе координат, поэтому новые данные должны попадать в ту же систему: z=(x−μ_train)/σ_train. Fit на всей выборке даёт утечку, а отдельный fit на тесте меняет смысл значений. Для train=[10,20,30] среднее 20, σ≈8,165; новые [5,6,7] превращаются примерно в [−1,84;−1,71;−1,59], а не [−18,37;−17,15;−15,92], как ошибочно указано в исходном примере. Стандартизация не делает распределение нормальным.

Источник и лицензия: Sebastian Raschka — Python Machine Learning FAQ · MIT · перевод: Quantoros

Похожие вопросы