К содержанию
Quantoros

Почему перед softmax можно вычесть максимальный логит без изменения вероятностей?

МатематикаУровень: ПрактикаDerivative and probability numerics

Почему перед softmax можно вычесть максимальный логит без изменения вероятностей?

Подсказки
  • Вынесите exp(−c) везде.
  • Важны относительные логиты.

Ответ

Общий экспоненциальный множитель сокращается в числителе и знаменателе. Вычитание максимума предотвращает большие экспоненты, сохраняя относительные логиты.

Источник и лицензия: SciPy — logsumexp and softmax numerics · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros

Похожие вопросы