К содержанию
Quantoros

Что такое ReLU и чем она отличается от sigmoid или tanh?

Deep LearningУровень: ПрактикаNeural networks

Что такое ReLU и чем она отличается от sigmoid или tanh?

Подсказки
  • Отделите линейный скор от функции, превращающей его в вероятность.
  • Сопоставьте выбранное распределение целевой переменной и отрицательный логарифм правдоподобия.

Ответ

ReLU(x) = max(0, x): отрицательные значения заменяются нулём, положительные сохраняются. Она проста в вычислении и не насыщается на положительной полуоси, в отличие от sigmoid и tanh. Это помогает передавать градиент через активные нейроны.

Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · перевод: Quantoros

Похожие вопросы