К содержанию
Quantoros

Как стабилизировать оценки LLM-судьи?

LLM & AIУровень: ПрактикаTroubleshooting Scenarios

Как стабилизировать оценки LLM-судьи?

Подсказки
  • Уточните этап: предобучение, адаптация, генерация или оценка.
  • Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.

Ответ

Сделайте рубрику однозначной, добавьте проверенные примеры и фиксируйте версию модели и параметры. Низкая температура уменьшает случайность, но не гарантирует побитовой детерминированности. Валидируйте структуру ответа и оценивайте согласие между повторными запусками; при необходимости агрегируйте несколько оценок и отправляйте расхождения человеку. Краткое обоснование помогает аудиту, но его наличие само по себе не доказывает правильность оценки.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы