К содержанию
Quantoros

Как учитывать дисбаланс классов при выборе метрик?

СтатистикаУровень: ПрактикаStatistics and probability

Как учитывать дисбаланс классов при выборе метрик?

Подсказки
  • Выпишите TP, FP, TN и FN для небольшого примера.
  • Разделите качество ранжирования, выбор порога и калибровку вероятностей. Какая ошибка дороже?

Ответ

Accuracy может скрыть бесполезность модели для редкого класса. Рассмотрите precision, recall, F1 и PR-AUC; при сильном дисбалансе последняя часто нагляднее ROC-AUC. Для обучения возможны веса классов и пересэмплирование, для проверки — стратификация. Если цена FP и FN различается, лучше выбирать порог или метрику по реальным затратам.

Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros

Похожие вопросы