Что такое FlashAttention?
LLM & AIУровень: ПрактикаAttention Mechanisms
Что такое FlashAttention?
Подсказки
- Проследите размеры Q, K и V и какие позиции могут взаимодействовать.
- Отдельно проверьте маску, нормировку весов и отличие обучения от авторегрессивного инференса.
Ответ
FlashAttention — реализация точного внимания, оптимизирующая перемещение данных между памятью GPU и быстрой локальной памятью. Она вычисляет внимание блоками и использует потоковое вычисление softmax, не сохраняя полную матрицу N×N во внешней памяти. Это снижает потребление памяти и часто ускоряет выполнение, не заменяя внимание приближённым методом. Возможны обычные численные различия из-за порядка операций; ускорение зависит от формы задачи и оборудования.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros