Как обрабатывать пропуски перед обучением модели?
Classic MLУровень: ПрактикаClassical machine learning
Как обрабатывать пропуски перед обучением модели?
Подсказки
- Почему значение могло отсутствовать? Отделите механизм пропуска от способа заполнения.
- Подумайте, на каких данных можно обучать заполнение и когда индикатор пропуска сам полезен.
Ответ
Сначала изучите механизм: MCAR — полностью случайные пропуски; MAR — связаны с наблюдаемыми данными; MNAR — с самим отсутствующим значением. Возможны удаление небольшого числа строк/столбцов, заполнение средним, медианой или модой, KNN/MICE и другие модели импутации, либо алгоритмы с собственной поддержкой пропусков. Полезен дополнительный индикатор «значение отсутствовало», если пропуск несёт информацию.
Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros