К содержанию
Quantoros

Что такое PagedAttention?

LLM & AIУровень: ПрактикаInference & Decoding

Что такое PagedAttention?

Подсказки
  • Проследите размеры Q, K и V и какие позиции могут взаимодействовать.
  • Отдельно проверьте маску, нормировку весов и отличие обучения от авторегрессивного инференса.

Ответ

PagedAttention организует KV-кеш в блоки фиксированного размера и отображает логические позиции последовательности на физические блоки памяти. Кешу не нужен один непрерывный участок, поэтому уменьшаются резервирование и фрагментация при запросах разной длины. Блоки общих префиксов могут разделяться с соответствующим учётом ссылок. Это улучшает использование памяти и пропускную способность, но конкретный выигрыш зависит от нагрузки; метод не устраняет саму стоимость внимания.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы