К содержанию
Quantoros

Что такое cross-attention и где оно используется?

LLM & AIУровень: ПрактикаAttention Mechanisms

Что такое cross-attention и где оно используется?

Подсказки
  • Проследите размеры Q, K и V и какие позиции могут взаимодействовать.
  • Отдельно проверьте маску, нормировку весов и отличие обучения от авторегрессивного инференса.

Ответ

В cross-attention запросы Q приходят из одной последовательности, а ключи K и значения V — из другой. Например, декодер T5 обращается к представлениям входа, рассчитанным энкодером. Аналогичный механизм может связывать текст с изображением или другими источниками. В стандартном текстовом decoder-only трансформере такого отдельного блока обычно нет, но это не запрет для расширений и мультимодальных архитектур.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы