К содержанию
Quantoros

Какие есть способы обработки пропусков?

Classic MLУровень: БазаML concepts — Sebastian Raschka FAQ

Какие есть способы обработки пропусков?

Подсказки
  • Почему значение могло отсутствовать? Отделите механизм пропуска от способа заполнения.
  • Подумайте, на каких данных можно обучать заполнение и когда индикатор пропуска сам полезен.

Ответ

Можно удалить отдельные строки или признаки, если потеря данных допустима и не создаёт серьёзного смещения. Другой путь — импутация средним, медианой, модой, по ближайшим соседям или моделью; полезен отдельный индикатор пропуска. Сначала выясните механизм отсутствия и возможность естественной поддержки моделью. Параметры импутации оценивайте только по обучающей части, включая каждый фолд, чтобы не допустить утечки.

Источник и лицензия: Sebastian Raschka — Python Machine Learning FAQ · MIT · перевод: Quantoros

Похожие вопросы