К содержанию
Quantoros

Зачем нужна функция активации и что будет без нелинейности?

LLM & AIУровень: БазаTransformers & Architecture

Зачем нужна функция активации и что будет без нелинейности?

Подсказки
  • Уточните этап: предобучение, адаптация, генерация или оценка.
  • Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.

Ответ

Активация добавляет нелинейное преобразование и позволяет сети представлять зависимости, недоступные одной аффинной функции. Цепочка только матричных умножений и прибавлений смещений сворачивается в одно преобразование Wx+b, независимо от числа слоёв. Например, W₂(W₁x+b₁)+b₂=(W₂W₁)x+(W₂b₁+b₂). Поэтому глубина такой цепочки не расширяет класс представляемых функций, хотя может менять оптимизацию. Оговорка важна: attention, нормализация и другие операции сами могут быть нелинейными; удаление одной активации не обязательно делает всю архитектуру линейной.

Источник и лицензия: Skillumen — Awesome AI Engineer Interview Questions · CC0-1.0 · перевод: Quantoros

Похожие вопросы