Как выбрать между precision и recall для бизнес-задачи?
Classic MLУровень: ПрактикаClassical machine learning
Как выбрать между precision и recall для бизнес-задачи?
Подсказки
- Выпишите TP, FP, TN и FN для небольшого примера.
- Разделите качество ранжирования, выбор порога и калибровку вероятностей. Какая ошибка дороже?
Ответ
Ориентируйтесь на стоимость ошибок. Высокий recall важен, когда дорого пропустить положительный случай, например мошенничество. Высокий precision нужен, когда ложное срабатывание причиняет ущерб: блокировка честного клиента или полезного письма. При значимости обоих аспектов используйте F1 либо напрямую оптимизируйте порог по стоимости FP и FN.
Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros