Как правильно настроить LLM-as-judge?
LLM & AIУровень: ПрактикаLLM-as-Judge
Как правильно настроить LLM-as-judge?
Подсказки
- Уточните этап: предобучение, адаптация, генерация или оценка.
- Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.
Ответ
Задайте конкретные критерии, шкалу и примеры оценок; передавайте необходимые основания, например исходный документ для проверки резюме. Используйте структурированный результат и краткое обоснование, затем сравните решения судьи с человеческими метками. В парных сравнениях меняйте порядок ответов, скрывайте идентичность систем и допускайте ничью. Отдельно измеряйте стабильность и ошибки судьи; несколько моделей не гарантируют независимости их смещений.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros