Какие этапы включает классическая схема RLHF?
LLM & AIУровень: БазаFine-tuning & Alignment
Какие этапы включает классическая схема RLHF?
Подсказки
- Уточните этап: предобучение, адаптация, генерация или оценка.
- Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.
Ответ
Сначала люди сравнивают ответы на одинаковые запросы. Затем модель награды учится предсказывать эти предпочтения. После этого языковую политику оптимизируют, например PPO, чтобы получать более высокую награду, обычно ограничивая отклонение от опорной модели. Надёжность разметки и защита от эксплуатации ошибок награды важны не меньше самого алгоритма.
Источник и лицензия: Skillumen — Awesome AI Engineer Interview Questions · CC0-1.0 · перевод: Quantoros