Что такое многоголовое внимание и зачем несколько голов?
LLM & AIУровень: БазаAttention Mechanisms
Что такое многоголовое внимание и зачем несколько голов?
Подсказки
- Проследите размеры Q, K и V и какие позиции могут взаимодействовать.
- Отдельно проверьте маску, нормировку весов и отличие обучения от авторегрессивного инференса.
Ответ
Каждая голова использует свои обучаемые проекции Q, K и V и вычисляет отдельное внимание. Их результаты объединяют и проецируют: MultiHead=Concat(head₁,…,headₕ)W_O. Это позволяет представлять разные типы отношений и разные подпространства одновременно. Головы иногда специализируются на синтаксисе или дальних связях, но такая интерпретация не гарантирована и не задаётся вручную.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros