К содержанию
Quantoros

Как научить LLM признавать недостаток знаний?

LLM & AIУровень: ПрактикаTroubleshooting Scenarios

Как научить LLM признавать недостаток знаний?

Подсказки
  • Уточните этап: предобучение, адаптация, генерация или оценка.
  • Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.

Ответ

Явно разрешите отказ при недостатке оснований и обучайте на примерах корректного воздержания. Для ответов по документам проверяйте наличие релевантных доказательств и соответствие им ответа; предусмотрите передачу человеку. Самооценка уверенности числом и порог косинусного сходства не являются калиброванной вероятностью правильности. Порог воздержания выбирают на размеченной выборке, измеряя долю ответов и ошибок; дополнительный LLM-проверяющий тоже может ошибаться.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы