Как оценить классификатор помимо accuracy?
Classic MLУровень: ПрактикаClassical machine learning
Как оценить классификатор помимо accuracy?
Подсказки
- Сформулируйте задачу, входные данные и то, что модель должна предсказывать.
- Сравните метод с простым baseline: допущения, функция потерь и независимая проверка.
Ответ
Разберите матрицу ошибок, precision, recall и F1, затем ROC-AUC и PR-AUC по разным порогам. При редком положительном классе особенно полезна PR-кривая. Если решения используют вероятности, отдельно проверьте калибровку — соответствуют ли оценки фактическим частотам событий.
Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros