К содержанию
Quantoros

Как оценивать RAG-систему?

LLM & AIУровень: ПрактикаEvaluation

Как оценивать RAG-систему?

Подсказки
  • Разложите запрос на поиск кандидатов, отбор контекста и генерацию.
  • Как определить, на каком этапе потерян нужный факт, не оценивая всё одной итоговой метрикой?

Ответ

Оценивайте поиск отдельно: Recall@K — доля нужных материалов, найденных в первых K; MRR — средняя обратная позиция первого релевантного результата; precision — доля релевантных среди выданных. Для ответа проверяйте правильность, релевантность вопросу, полноту и подтверждение утверждений контекстом. Context recall обычно относится к покрытию необходимых сведений извлечённым контекстом, а не к тому, всё ли модель пересказала. Нужен фиксированный набор запросов, эталонов и источников, плюс оценка задержки и стоимости.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы