Как учитывать дисбаланс классов при выборе метрик?
СтатистикаУровень: ПрактикаStatistics and probability
Как учитывать дисбаланс классов при выборе метрик?
Подсказки
- Выпишите TP, FP, TN и FN для небольшого примера.
- Разделите качество ранжирования, выбор порога и калибровку вероятностей. Какая ошибка дороже?
Ответ
Accuracy может скрыть бесполезность модели для редкого класса. Рассмотрите precision, recall, F1 и PR-AUC; при сильном дисбалансе последняя часто нагляднее ROC-AUC. Для обучения возможны веса классов и пересэмплирование, для проверки — стратификация. Если цена FP и FN различается, лучше выбирать порог или метрику по реальным затратам.
Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros