Почему для экстремальных логитов лучше logsoftmax, чем log(softmax(x))?
МатематикаУровень: ПрактикаDerivative and probability numerics
Почему для экстремальных логитов лучше log_softmax, чем log(softmax(x))?
Подсказки
- Избегайте промежуточной малой вероятности.
- Оставайтесь в логарифмической шкале.
Ответ
Softmax может округлить малую вероятность до нуля, после чего log даст минус бесконечность. Прямой log-softmax сохраняет конечный логарифм устойчивой нормировкой.
Источник и лицензия: SciPy — logsumexp and softmax numerics · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros