Какова максимальная энтропия четырёх категорий в битах и когда она достигается?
МатематикаУровень: БазаInformation measures
Какова максимальная энтропия четырёх категорий в битах и когда она достигается?
Подсказки
- Возьмите log2 числа категорий.
- Максимум неопределённости даёт равномерность.
Ответ
Два бита при вероятностях 1/4. Сосредоточение вероятности на меньшем числе категорий уменьшает энтропию.
Источник и лицензия: SciPy — entropy and relative entropy · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros