Что показывает ROC-кривая и как интерпретировать AUC?
Classic MLУровень: БазаClassical machine learning
Что показывает ROC-кривая и как интерпретировать AUC?
Подсказки
- Выпишите TP, FP, TN и FN для небольшого примера.
- Разделите качество ранжирования, выбор порога и калибровку вероятностей. Какая ошибка дороже?
Ответ
ROC строит TPR против FPR при разных порогах. AUC характеризует ранжирование: вероятность поставить случайный положительный объект выше отрицательного с половинным учётом равных оценок. 1 означает идеальное ранжирование, 0.5 — отсутствие такого преимущества в среднем. При сильном дисбалансе дополнительно смотрите PR-AUC.
Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros