К содержанию
Quantoros

Что такое Grouped-Query Attention?

LLM & AIУровень: ПрактикаAttention Mechanisms

Что такое Grouped-Query Attention?

Подсказки
  • Проследите размеры Q, K и V и какие позиции могут взаимодействовать.
  • Отдельно проверьте маску, нормировку весов и отличие обучения от авторегрессивного инференса.

Ответ

В GQA несколько голов запросов разделяют общие головы ключей и значений. Например, 32 головы Q могут использовать 8 голов K и V вместо 32. MQA — крайний случай с одной KV-головой, а обычное MHA выделяет KV для каждой головы. Меньшее число KV-голов сокращает размер кеша и передачу памяти при генерации. Компромисс качества и скорости зависит от модели и обучения, а не означает неизбежную фиксированную потерю качества.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы