К содержанию
Quantoros

Чем архитектурно различаются BERT и GPT и как это влияет на их задачи?

NLPУровень: БазаNatural language processing

Чем архитектурно различаются BERT и GPT и как это влияет на их задачи?

Подсказки
  • Разложите обработку текста на представление, модель и способ оценки.
  • Проверьте неоднозначность языка, редкие слова и отличие обучающих текстов от целевых.

Ответ

BERT — трансформерный энкодер с двунаправленным вниманием, обычно предобучаемый восстановлению замаскированных токенов. Ему доступны левый и правый контекст, что удобно для классификации, NER и извлечения ответа. GPT — decoder-only модель с причинной маской, обучаемая предсказывать следующий токен по предыдущим. Такая схема естественно подходит для последовательной генерации. Это различие базовых архитектур, а не запрет адаптировать их к другим задачам.

Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros

Похожие вопросы