К содержанию
Quantoros

Как связаны cross-entropy H(p,q), энтропия и KL?

МатематикаУровень: ПрактикаInformation measures

Как связаны cross-entropy H(p,q), энтропия и KL?

Подсказки
  • Раскройте log(p/q).
  • Отделите зависящие от q слагаемые.

Ответ

H(p,q)=H(p)+KL(p||q), когда выражения определены. При фиксированном p минимизация cross-entropy по q минимизирует KL.

Источник и лицензия: SciPy — entropy and relative entropy · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros

Похожие вопросы