К содержанию
Quantoros

Чем отличаются encoder-only, decoder-only и encoder-decoder модели?

LLM & AIУровень: БазаArchitecture & Core Concepts

Чем отличаются encoder-only, decoder-only и encoder-decoder модели?

Подсказки
  • Уточните этап: предобучение, адаптация, генерация или оценка.
  • Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.

Ответ

Encoder-only модели, например BERT, строят двунаправленные представления входа и удобны для классификации и выделения сущностей. Decoder-only модели используют причинное внимание и естественно генерируют продолжение по одному токену. В encoder-decoder модели энкодер представляет вход, а декодер генерирует выход, обращаясь к нему через cross-attention; примеры — T5 и BART. Конкретная задача и предобучающая цель могут отличаться внутри каждого семейства.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы