Чем функция потерь отличается от метрики и почему метрику не всегда оптимизируют напрямую?
Deep LearningУровень: ПрактикаNeural networks
Чем функция потерь отличается от метрики и почему метрику не всегда оптимизируют напрямую?
Подсказки
- Проследите данные и градиенты через модель, отмечая размерности.
- Разделите поведение при обучении и инференсе; найдите допущение, без которого ответ неверен.
Ответ
Loss служит целью обучения, метрика — оценкой полезности результата. Accuracy и F1 зависят от дискретных решений и обычно не дают пригодного градиента, поэтому используют surrogate loss, например cross-entropy. Потеря не обязана быть гладкой всюду: hinge loss имеет излом и допускает субградиентные методы; существуют и безградиентные оптимизаторы. Хороший surrogate не гарантирует оптимума бизнес-метрики — её и рабочий порог проверяют отдельно.
Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · ответ: редакция Quantoros · перевод: Quantoros