Как связаны cross-entropy H(p,q), энтропия и KL?
МатематикаУровень: ПрактикаInformation measures
Как связаны cross-entropy H(p,q), энтропия и KL?
Подсказки
- Раскройте log(p/q).
- Отделите зависящие от q слагаемые.
Ответ
H(p,q)=H(p)+KL(p||q), когда выражения определены. При фиксированном p минимизация cross-entropy по q минимизирует KL.
Источник и лицензия: SciPy — entropy and relative entropy · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros