К содержанию
Quantoros

Зачем нужны функции активации?

Deep LearningУровень: БазаNeural networks

Зачем нужны функции активации?

Подсказки
  • Проследите данные и градиенты через модель, отмечая размерности.
  • Разделите поведение при обучении и инференсе; найдите допущение, без которого ответ неверен.

Ответ

Они добавляют нелинейность. Если складывать только линейные слои без нелинейных активаций, вся их композиция останется линейной функцией. Активации позволяют сети представлять более сложные зависимости.

Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · перевод: Quantoros

Похожие вопросы