Какие две основные операции выполняет Transformer-блок и где токены обмениваются информацией?
LLM & AIУровень: БазаTransformers & Architecture
Какие две основные операции выполняет Transformer-блок и где токены обмениваются информацией?
Подсказки
- Проследите размеры Q, K и V и какие позиции могут взаимодействовать.
- Отдельно проверьте маску, нормировку весов и отличие обучения от авторегрессивного инференса.
Ответ
В стандартном encoder-блоке self-attention смешивает информацию между допустимыми позициями, а position-wise feed-forward сеть преобразует каждую позицию отдельно. Вокруг них находятся residual connections и нормализация. Но «ровно две» операции и «только self-attention» не универсальны: декодер encoder–decoder Transformer дополнительно использует cross-attention к выходам энкодера, что тоже передаёт информацию между позициями. Decoder-only блок обычно использует causal self-attention без такого внешнего cross-attention. Сначала следует уточнить архитектуру.
Источник и лицензия: Skillumen — Awesome AI Engineer Interview Questions · CC0-1.0 · ответ: редакция Quantoros · перевод: Quantoros