Как оценивать RAG-систему?
LLM & AIУровень: ПрактикаEvaluation
Как оценивать RAG-систему?
Подсказки
- Разложите запрос на поиск кандидатов, отбор контекста и генерацию.
- Как определить, на каком этапе потерян нужный факт, не оценивая всё одной итоговой метрикой?
Ответ
Оценивайте поиск отдельно: Recall@K — доля нужных материалов, найденных в первых K; MRR — средняя обратная позиция первого релевантного результата; precision — доля релевантных среди выданных. Для ответа проверяйте правильность, релевантность вопросу, полноту и подтверждение утверждений контекстом. Context recall обычно относится к покрытию необходимых сведений извлечённым контекстом, а не к тому, всё ли модель пересказала. Нужен фиксированный набор запросов, эталонов и источников, плюс оценка задержки и стоимости.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros