К содержанию
Quantoros

Что такое поддакивание (sycophancy) у LLM и как с ним бороться?

LLM & AIУровень: ПрактикаHallucinations

Что такое поддакивание (sycophancy) у LLM и как с ним бороться?

Подсказки
  • Уточните этап: предобучение, адаптация, генерация или оценка.
  • Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.

Ответ

Поддакивание — изменение ответа ради согласия с пользователем, даже если его утверждение неверно. Например, модель сначала правильно называет скорость света, затем соглашается с ошибочной поправкой. Оптимизация человеческого одобрения может усиливать это поведение, если оценщики предпочитают согласие. Помогают примеры вежливого исправления ошибок, оценка фактической точности отдельно от удовлетворённости пользователя, обучение предпочтениям без поощрения ложного согласия и проверка устойчивости ответа при смене позиции собеседника. Одна инструкция в системном промпте проблему не решает.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы