К содержанию
Quantoros

Что такое многоголовое внимание и зачем несколько голов?

LLM & AIУровень: БазаAttention Mechanisms

Что такое многоголовое внимание и зачем несколько голов?

Подсказки
  • Проследите размеры Q, K и V и какие позиции могут взаимодействовать.
  • Отдельно проверьте маску, нормировку весов и отличие обучения от авторегрессивного инференса.

Ответ

Каждая голова использует свои обучаемые проекции Q, K и V и вычисляет отдельное внимание. Их результаты объединяют и проецируют: MultiHead=Concat(head₁,…,headₕ)W_O. Это позволяет представлять разные типы отношений и разные подпространства одновременно. Головы иногда специализируются на синтаксисе или дальних связях, но такая интерпретация не гарантирована и не задаётся вручную.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы