Когда PR-AUC полезнее ROC-AUC?
Classic MLУровень: ПрактикаClassification
Когда PR-AUC полезнее ROC-AUC?
Подсказки
- Выпишите TP, FP, TN и FN для небольшого примера.
- Разделите качество ранжирования, выбор порога и калибровку вероятностей. Какая ошибка дороже?
Ответ
ROC сравнивает TPR и FPR, а PR — precision и recall. PR-AUC обычно полезнее, когда важен положительный класс, истинно отрицательных объектов очень много или их число само по себе мало говорит о решаемой задаче. ROC-AUC удобен для оценки разделимости обоих классов; выбор всё равно должен соответствовать практической цели.
Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · перевод: Quantoros