К содержанию
Quantoros

Как обрабатывать пропуски перед обучением модели?

Classic MLУровень: ПрактикаClassical machine learning

Как обрабатывать пропуски перед обучением модели?

Подсказки
  • Почему значение могло отсутствовать? Отделите механизм пропуска от способа заполнения.
  • Подумайте, на каких данных можно обучать заполнение и когда индикатор пропуска сам полезен.

Ответ

Сначала изучите механизм: MCAR — полностью случайные пропуски; MAR — связаны с наблюдаемыми данными; MNAR — с самим отсутствующим значением. Возможны удаление небольшого числа строк/столбцов, заполнение средним, медианой или модой, KNN/MICE и другие модели импутации, либо алгоритмы с собственной поддержкой пропусков. Полезен дополнительный индикатор «значение отсутствовало», если пропуск несёт информацию.

Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros

Похожие вопросы