Как оценивать retrieval в RAG?
LLM & AIУровень: ПрактикаRAG Evaluation
Как оценивать retrieval в RAG?
Подсказки
- Разложите запрос на поиск кандидатов, отбор контекста и генерацию.
- Как определить, на каком этапе потерян нужный факт, не оценивая всё одной итоговой метрикой?
Ответ
Создайте запросы с размеченными релевантными документами или фрагментами. Recall@K оценивает долю найденного релевантного, Precision@K — долю релевантного в выдаче, MRR — позицию первого полезного результата, nDCG — качество порядка с учётом градаций релевантности. Отдельно анализируйте языки, редкие термины и сложные запросы. Клики дают дополнительный, но смещённый сигнал; плохая обоснованность ответа может быть ошибкой генератора даже при хорошем поиске.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros