Почему перед softmax можно вычесть максимальный логит без изменения вероятностей?
МатематикаУровень: ПрактикаDerivative and probability numerics
Почему перед softmax можно вычесть максимальный логит без изменения вероятностей?
Подсказки
- Вынесите exp(−c) везде.
- Важны относительные логиты.
Ответ
Общий экспоненциальный множитель сокращается в числителе и знаменателе. Вычитание максимума предотвращает большие экспоненты, сохраняя относительные логиты.
Источник и лицензия: SciPy — logsumexp and softmax numerics · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros