Что даёт несколько attention-голов по сравнению с одной?
LLM & AIУровень: ПрактикаTransformers & Architecture
Что даёт несколько attention-голов по сравнению с одной?
Подсказки
- Проследите размеры Q, K и V и какие позиции могут взаимодействовать.
- Отдельно проверьте маску, нормировку весов и отличие обучения от авторегрессивного инференса.
Ответ
Каждая голова использует свои обучаемые проекции query, key и value, поэтому сравнивает и агрегирует позиции в другом пространстве представлений. Выходы голов объединяются и снова проецируются. Это даёт несколько параллельных способов собирать информацию при заданном вычислительном бюджете. Однако одна голова не ограничена единственной смысловой связью, а нескольким головам не обязаны соответствовать понятные роли вроде грамматики или местоимений. Специализация и избыточность — наблюдаемые свойства конкретной обученной модели, а не гарантии архитектуры.
Источник и лицензия: Skillumen — Awesome AI Engineer Interview Questions · CC0-1.0 · ответ: редакция Quantoros · перевод: Quantoros