К содержанию
Quantoros

Что такое FlashAttention?

LLM & AIУровень: ПрактикаAttention Mechanisms

Что такое FlashAttention?

Подсказки
  • Проследите размеры Q, K и V и какие позиции могут взаимодействовать.
  • Отдельно проверьте маску, нормировку весов и отличие обучения от авторегрессивного инференса.

Ответ

FlashAttention — реализация точного внимания, оптимизирующая перемещение данных между памятью GPU и быстрой локальной памятью. Она вычисляет внимание блоками и использует потоковое вычисление softmax, не сохраняя полную матрицу N×N во внешней памяти. Это снижает потребление памяти и часто ускоряет выполнение, не заменяя внимание приближённым методом. Возможны обычные численные различия из-за порядка операций; ускорение зависит от формы задачи и оборудования.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы