Какой порог дисперсии отсечёт бинарные признаки, постоянные более чем в 80% строк?
Classic MLУровень: ПрактикаBinary variance filtering
Какой порог дисперсии отсечёт бинарные признаки, постоянные более чем в 80% строк?
Подсказки
- Дисперсия симметрична по p и 1-p.
- Низкая частота не означает бесполезность.
Ответ
Дисперсия Bernoulli равна p(1-p), граница — 0.8*0.2=0.16. Фильтр не использует метки и может удалить редкий, но полезный индикатор.
Источник и лицензия: scikit-learn 1.7.2 — feature selection · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros