К содержанию
Quantoros

Почему высокие офлайн-оценки не совпадают с удовлетворённостью пользователей?

LLM & AIУровень: ПрактикаTroubleshooting Scenarios

Почему высокие офлайн-оценки не совпадают с удовлетворённостью пользователей?

Подсказки
  • Уточните этап: предобучение, адаптация, генерация или оценка.
  • Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.

Ответ

Набор может не отражать реальные запросы, диалоги, новые темы или ограничения интерфейса. Метрика может поощрять подробность и формальную правильность, когда пользователю важны скорость и решение задачи. Возможны также утечка тестов и чрезмерная подгонка под судью. Разберите реальные неудачи, добавьте многошаговые сценарии и сегменты, оцените задержку и конечный результат. Обновляйте набор на разрешённых данных, сохраняя независимость проверки.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы