К содержанию
Quantoros

Чем функция потерь отличается от метрики и почему метрику не всегда оптимизируют напрямую?

Deep LearningУровень: ПрактикаNeural networks

Чем функция потерь отличается от метрики и почему метрику не всегда оптимизируют напрямую?

Подсказки
  • Проследите данные и градиенты через модель, отмечая размерности.
  • Разделите поведение при обучении и инференсе; найдите допущение, без которого ответ неверен.

Ответ

Loss служит целью обучения, метрика — оценкой полезности результата. Accuracy и F1 зависят от дискретных решений и обычно не дают пригодного градиента, поэтому используют surrogate loss, например cross-entropy. Потеря не обязана быть гладкой всюду: hinge loss имеет излом и допускает субградиентные методы; существуют и безградиентные оптимизаторы. Хороший surrogate не гарантирует оптимума бизнес-метрики — её и рабочий порог проверяют отдельно.

Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · ответ: редакция Quantoros · перевод: Quantoros

Похожие вопросы