Что такое ReLU и чем она отличается от sigmoid или tanh?
Deep LearningУровень: ПрактикаNeural networks
Что такое ReLU и чем она отличается от sigmoid или tanh?
Подсказки
- Отделите линейный скор от функции, превращающей его в вероятность.
- Сопоставьте выбранное распределение целевой переменной и отрицательный логарифм правдоподобия.
Ответ
ReLU(x) = max(0, x): отрицательные значения заменяются нулём, положительные сохраняются. Она проста в вычислении и не насыщается на положительной полуоси, в отличие от sigmoid и tanh. Это помогает передавать градиент через активные нейроны.
Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · перевод: Quantoros