К содержанию
Quantoros

Что происходит с KL(pq), если p положительно там, где q равно нулю?

МатематикаУровень: ПрактикаInformation measures

Что происходит с KL(p||q), если p положительно там, где q равно нулю?

Подсказки
  • Проверьте знаменатель логарифма.
  • Важно покрытие области вероятностей.

Ответ

Оно бесконечно: p log(p/q) расходится. Сглаживание устраняет нули, но меняет сравниваемую модель, что нужно явно указать.

Источник и лицензия: SciPy — entropy and relative entropy · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros

Похожие вопросы