Что такое PagedAttention?
LLM & AIУровень: ПрактикаInference & Decoding
Что такое PagedAttention?
Подсказки
- Проследите размеры Q, K и V и какие позиции могут взаимодействовать.
- Отдельно проверьте маску, нормировку весов и отличие обучения от авторегрессивного инференса.
Ответ
PagedAttention организует KV-кеш в блоки фиксированного размера и отображает логические позиции последовательности на физические блоки памяти. Кешу не нужен один непрерывный участок, поэтому уменьшаются резервирование и фрагментация при запросах разной длины. Блоки общих префиксов могут разделяться с соответствующим учётом ссылок. Это улучшает использование памяти и пропускную способность, но конкретный выигрыш зависит от нагрузки; метод не устраняет саму стоимость внимания.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros