К содержанию
Quantoros

Почему для экстремальных логитов лучше logsoftmax, чем log(softmax(x))?

МатематикаУровень: ПрактикаDerivative and probability numerics

Почему для экстремальных логитов лучше log_softmax, чем log(softmax(x))?

Подсказки
  • Избегайте промежуточной малой вероятности.
  • Оставайтесь в логарифмической шкале.

Ответ

Softmax может округлить малую вероятность до нуля, после чего log даст минус бесконечность. Прямой log-softmax сохраняет конечный логарифм устойчивой нормировкой.

Источник и лицензия: SciPy — logsumexp and softmax numerics · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros

Похожие вопросы