К содержанию
Quantoros

Что даёт несколько attention-голов по сравнению с одной?

LLM & AIУровень: ПрактикаTransformers & Architecture

Что даёт несколько attention-голов по сравнению с одной?

Подсказки
  • Проследите размеры Q, K и V и какие позиции могут взаимодействовать.
  • Отдельно проверьте маску, нормировку весов и отличие обучения от авторегрессивного инференса.

Ответ

Каждая голова использует свои обучаемые проекции query, key и value, поэтому сравнивает и агрегирует позиции в другом пространстве представлений. Выходы голов объединяются и снова проецируются. Это даёт несколько параллельных способов собирать информацию при заданном вычислительном бюджете. Однако одна голова не ограничена единственной смысловой связью, а нескольким головам не обязаны соответствовать понятные роли вроде грамматики или местоимений. Специализация и избыточность — наблюдаемые свойства конкретной обученной модели, а не гарантии архитектуры.

Источник и лицензия: Skillumen — Awesome AI Engineer Interview Questions · CC0-1.0 · ответ: редакция Quantoros · перевод: Quantoros

Похожие вопросы