Что такое авторегрессионная модель и чем её обучение отличается от masked language modeling?
LLM & AIУровень: ПрактикаArchitecture & Core Concepts
Что такое авторегрессионная модель и чем её обучение отличается от masked language modeling?
Подсказки
- Уточните этап: предобучение, адаптация, генерация или оценка.
- Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.
Ответ
Авторегрессионная модель задаёт p(x₁,…,xₙ)=∏p(xₜ|x<ₜ) и обучается предсказывать следующий токен по предыдущим. При обучении ошибки для многих позиций вычисляют параллельно с причинной маской. MLM восстанавливает выбранные скрытые токены по доступному левому и правому контексту; это подходит для обучения представлений. Доля и способ маскирования зависят от модели: 15% — настройка BERT, а не определение MLM.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros