Что такое причинная маска внимания?
LLM & AIУровень: БазаAttention Mechanisms
Что такое причинная маска внимания?
Подсказки
- Уточните этап: предобучение, адаптация, генерация или оценка.
- Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.
Ответ
Причинная маска разрешает позиции i обращаться только к позициям не позже i. До softmax оценки будущих позиций заменяют на −∞, и их веса становятся нулевыми. Это предотвращает утечку будущих токенов при параллельном обучении авторегрессионной модели и обеспечивает зависимость предсказания только от допустимого префикса.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros