К содержанию
Quantoros

Как трансформеры решают ограничения CNN и RNN?

Computer VisionУровень: БазаArchitecture & Core Concepts

Как трансформеры решают ограничения CNN и RNN?

Подсказки
  • Проследите размеры Q, K и V и какие позиции могут взаимодействовать.
  • Отдельно проверьте маску, нормировку весов и отличие обучения от авторегрессивного инференса.

Ответ

RNN последовательно передаёт состояние, поэтому обучение по времени трудно полностью распараллелить, а длинный путь зависимостей осложняет перенос сигнала. Локальной CNN для широкого контекста нужны дополнительные слои или расширенные свёртки. Self-attention связывает разрешённые маской позиции напрямую и позволяет параллельно обрабатывать известную последовательность при обучении. Цена полного внимания — квадратичная по длине работа; авторегрессионная генерация всё равно остаётся последовательной.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы