К содержанию
Quantoros

Как правильно настроить LLM-as-judge?

LLM & AIУровень: ПрактикаLLM-as-Judge

Как правильно настроить LLM-as-judge?

Подсказки
  • Уточните этап: предобучение, адаптация, генерация или оценка.
  • Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.

Ответ

Задайте конкретные критерии, шкалу и примеры оценок; передавайте необходимые основания, например исходный документ для проверки резюме. Используйте структурированный результат и краткое обоснование, затем сравните решения судьи с человеческими метками. В парных сравнениях меняйте порядок ответов, скрывайте идентичность систем и допускайте ничью. Отдельно измеряйте стабильность и ошибки судьи; несколько моделей не гарантируют независимости их смещений.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы