Как пошагово вычисляется self-attention?
LLM & AIУровень: БазаAttention Mechanisms
Как пошагово вычисляется self-attention?
Подсказки
- Проследите размеры Q, K и V и какие позиции могут взаимодействовать.
- Отдельно проверьте маску, нормировку весов и отличие обучения от авторегрессивного инференса.
Ответ
Из входных представлений X получают Q=XW_Q, K=XW_K и V=XW_V. Затем вычисляют оценки S=QKᵀ/√dₖ, добавляют маску и применяют softmax по ключам. Результат A V — взвешенная сумма векторов значений. В причинной маске будущим позициям присваивают −∞ до softmax, поэтому их вес равен нулю. Q задаёт запрос текущей позиции, K определяет соответствие ему, V содержит передаваемую информацию.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros