Как трансформеры решают ограничения CNN и RNN?
Computer VisionУровень: БазаArchitecture & Core Concepts
Как трансформеры решают ограничения CNN и RNN?
Подсказки
- Проследите размеры Q, K и V и какие позиции могут взаимодействовать.
- Отдельно проверьте маску, нормировку весов и отличие обучения от авторегрессивного инференса.
Ответ
RNN последовательно передаёт состояние, поэтому обучение по времени трудно полностью распараллелить, а длинный путь зависимостей осложняет перенос сигнала. Локальной CNN для широкого контекста нужны дополнительные слои или расширенные свёртки. Self-attention связывает разрешённые маской позиции напрямую и позволяет параллельно обрабатывать известную последовательность при обучении. Цена полного внимания — квадратичная по длине работа; авторегрессионная генерация всё равно остаётся последовательной.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros