Что такое Grouped-Query Attention?
LLM & AIУровень: ПрактикаAttention Mechanisms
Что такое Grouped-Query Attention?
Подсказки
- Проследите размеры Q, K и V и какие позиции могут взаимодействовать.
- Отдельно проверьте маску, нормировку весов и отличие обучения от авторегрессивного инференса.
Ответ
В GQA несколько голов запросов разделяют общие головы ключей и значений. Например, 32 головы Q могут использовать 8 голов K и V вместо 32. MQA — крайний случай с одной KV-головой, а обычное MHA выделяет KV для каждой головы. Меньшее число KV-голов сокращает размер кеша и передачу памяти при генерации. Компромисс качества и скорости зависит от модели и обучения, а не означает неизбежную фиксированную потерю качества.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros