К содержанию
Quantoros

Как пошагово вычисляется self-attention?

LLM & AIУровень: БазаAttention Mechanisms

Как пошагово вычисляется self-attention?

Подсказки
  • Проследите размеры Q, K и V и какие позиции могут взаимодействовать.
  • Отдельно проверьте маску, нормировку весов и отличие обучения от авторегрессивного инференса.

Ответ

Из входных представлений X получают Q=XW_Q, K=XW_K и V=XW_V. Затем вычисляют оценки S=QKᵀ/√dₖ, добавляют маску и применяют softmax по ключам. Результат A V — взвешенная сумма векторов значений. В причинной маске будущим позициям присваивают −∞ до softmax, поэтому их вес равен нулю. Q задаёт запрос текущей позиции, K определяет соответствие ему, V содержит передаваемую информацию.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы