Зачем Transformer нужна позиционная информация?
LLM & AIУровень: БазаTransformers & Architecture
Зачем Transformer нужна позиционная информация?
Подсказки
- Проследите размеры Q, K и V и какие позиции могут взаимодействовать.
- Отдельно проверьте маску, нормировку весов и отличие обучения от авторегрессивного инференса.
Ответ
Без позиционного сигнала немаскированное self-attention с одинаковыми позиционными операциями перестановочно эквивариантно: перестановка входных строк соответствующим образом переставляет выходы. Это не означает, что вся упорядоченная выходная последовательность остаётся идентичной. Абсолютные или относительные позиции позволяют различать порядок одинакового набора токенов. Используют обучаемые или синусоидальные векторы, rotary-механизмы и другие схемы. Causal-маска также вводит асимметричную структуру зависимостей, поэтому утверждение о полной нечувствительности декодера к порядку требует оговорок.
Источник и лицензия: Skillumen — Awesome AI Engineer Interview Questions · CC0-1.0 · ответ: редакция Quantoros · перевод: Quantoros