Как residual connections и нормализация помогают обучать глубокий Transformer?
LLM & AIУровень: БазаTransformers & Architecture
Как residual connections и нормализация помогают обучать глубокий Transformer?
Подсказки
- Проследите два пути сигнала через residual-блок: преобразование и обходную связь.
- Отдельно проверьте масштаб активаций и градиентов при увеличении глубины сети.
Ответ
Остаточная связь задаёт y=x+F(x). В её производной есть единичная составляющая, создающая прямой путь для информации и градиента и облегчающая оптимизацию глубокой сети. Это не гарантирует сохранения каждого сигнала или правильного масштаба всех градиентов. LayerNorm нормирует признаки внутри примера и применяет обучаемое масштабирование и сдвиг; расположение до или после подслоя важно для динамики обучения. Эти механизмы работают вместе с инициализацией, learning rate, численной точностью и clipping, а не полностью предотвращают нестабильность.
Источник и лицензия: Skillumen — Awesome AI Engineer Interview Questions · CC0-1.0 · ответ: редакция Quantoros · перевод: Quantoros