Что происходит с KL(pq), если p положительно там, где q равно нулю?
МатематикаУровень: ПрактикаInformation measures
Что происходит с KL(p||q), если p положительно там, где q равно нулю?
Подсказки
- Проверьте знаменатель логарифма.
- Важно покрытие области вероятностей.
Ответ
Оно бесконечно: p log(p/q) расходится. Сглаживание устраняет нули, но меняет сравниваемую модель, что нужно явно указать.
Источник и лицензия: SciPy — entropy and relative entropy · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros