К содержанию
Quantoros

Как оценивать retrieval в RAG?

LLM & AIУровень: ПрактикаRAG Evaluation

Как оценивать retrieval в RAG?

Подсказки
  • Разложите запрос на поиск кандидатов, отбор контекста и генерацию.
  • Как определить, на каком этапе потерян нужный факт, не оценивая всё одной итоговой метрикой?

Ответ

Создайте запросы с размеченными релевантными документами или фрагментами. Recall@K оценивает долю найденного релевантного, Precision@K — долю релевантного в выдаче, MRR — позицию первого полезного результата, nDCG — качество порядка с учётом градаций релевантности. Отдельно анализируйте языки, редкие термины и сложные запросы. Клики дают дополнительный, но смещённый сигнал; плохая обоснованность ответа может быть ошибкой генератора даже при хорошем поиске.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы