К содержанию
Quantoros

Что такое авторегрессионная модель и чем её обучение отличается от masked language modeling?

LLM & AIУровень: ПрактикаArchitecture & Core Concepts

Что такое авторегрессионная модель и чем её обучение отличается от masked language modeling?

Подсказки
  • Уточните этап: предобучение, адаптация, генерация или оценка.
  • Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.

Ответ

Авторегрессионная модель задаёт p(x₁,…,xₙ)=∏p(xₜ|x<ₜ) и обучается предсказывать следующий токен по предыдущим. При обучении ошибки для многих позиций вычисляют параллельно с причинной маской. MLM восстанавливает выбранные скрытые токены по доступному левому и правому контексту; это подходит для обучения представлений. Доля и способ маскирования зависят от модели: 15% — настройка BERT, а не определение MLM.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы