Объясните архитектуру трансформера.
LLM & AIУровень: БазаArchitecture & Core Concepts
Объясните архитектуру трансформера.
Подсказки
- Проследите размеры Q, K и V и какие позиции могут взаимодействовать.
- Отдельно проверьте маску, нормировку весов и отличие обучения от авторегрессивного инференса.
Ответ
Трансформер сочетает представления токенов и позиций, многоголовое внимание, позиционные полносвязные блоки, остаточные связи и нормализацию. Внимание вычисляется как Attention(Q,K,V)=softmax(QKᵀ/√dₖ+M)V, где M задаёт маску. Энкодер может видеть вход в обе стороны; авторегрессионный декодер использует причинную маску; в encoder-decoder декодер также обращается к выходам энкодера. RoPE, RMSNorm и SwiGLU — распространённые варианты компонентов, а не обязательные части любой архитектуры.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros