К содержанию
Quantoros

Каковы основные компоненты трансформера?

LLM & AIУровень: БазаArchitecture & Core Concepts

Каковы основные компоненты трансформера?

Подсказки
  • Проследите размеры Q, K и V и какие позиции могут взаимодействовать.
  • Отдельно проверьте маску, нормировку весов и отличие обучения от авторегрессивного инференса.

Ответ

Эмбеддинги переводят идентификаторы токенов в векторы; позиционное кодирование сообщает порядок. Многоголовое внимание объединяет информацию доступных позиций, а feed-forward блок нелинейно обрабатывает каждую позицию. Остаточные связи и нормализация помогают обучать глубокую сеть. В языковой модели выходная проекция и softmax дают вероятности по словарю. Конкретные реализации выбирают различные позиционные схемы, функции активации и виды нормализации.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы