К содержанию
Quantoros

Что такое KV-кеш и почему он ускоряет генерацию?

LLM & AIУровень: БазаInference & Decoding

Что такое KV-кеш и почему он ускоряет генерацию?

Подсказки
  • Разделите подготовку входа, вычисление предсказания, очередь и передачу данных.
  • Как изменятся задержка одного запроса, пропускная способность и память при увеличении батча?

Ответ

KV-кеш хранит ключи и значения предыдущих токенов для каждого слоя, чтобы на следующем шаге не пересчитывать их. Новый запрос внимания всё равно сравнивается с накопленными ключами: полная генерация N токенов с плотным вниманием не становится O(N), а сохраняет квадратичную суммарную работу внимания. Примерный объём кеша: 2×число слоёв×число KV-голов×dₖ×длина×batch×байт на элемент. GQA, квантование и страничное размещение уменьшают различные составляющие затрат.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы