Какие есть способы обработки пропусков?
Classic MLУровень: БазаML concepts — Sebastian Raschka FAQ
Какие есть способы обработки пропусков?
Подсказки
- Почему значение могло отсутствовать? Отделите механизм пропуска от способа заполнения.
- Подумайте, на каких данных можно обучать заполнение и когда индикатор пропуска сам полезен.
Ответ
Можно удалить отдельные строки или признаки, если потеря данных допустима и не создаёт серьёзного смещения. Другой путь — импутация средним, медианой, модой, по ближайшим соседям или моделью; полезен отдельный индикатор пропуска. Сначала выясните механизм отсутствия и возможность естественной поддержки моделью. Параметры импутации оценивайте только по обучающей части, включая каждый фолд, чтобы не допустить утечки.
Источник и лицензия: Sebastian Raschka — Python Machine Learning FAQ · MIT · перевод: Quantoros