К содержанию
Quantoros

Что такое причинная маска внимания?

LLM & AIУровень: БазаAttention Mechanisms

Что такое причинная маска внимания?

Подсказки
  • Уточните этап: предобучение, адаптация, генерация или оценка.
  • Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.

Ответ

Причинная маска разрешает позиции i обращаться только к позициям не позже i. До softmax оценки будущих позиций заменяют на −∞, и их веса становятся нулевыми. Это предотвращает утечку будущих токенов при параллельном обучении авторегрессионной модели и обеспечивает зависимость предсказания только от допустимого префикса.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы