К содержанию
Quantoros

Как убрать дублирующиеся результаты RAG?

LLM & AIУровень: ПрактикаTroubleshooting Scenarios

Как убрать дублирующиеся результаты RAG?

Подсказки
  • Разложите запрос на поиск кандидатов, отбор контекста и генерацию.
  • Как определить, на каком этапе потерян нужный факт, не оценивая всё одной итоговой метрикой?

Ответ

Удаляйте точные и близкие дубликаты при загрузке, сохраняя ссылки на происхождение. После поиска можно объединять результаты одного родительского раздела или кластеризовать похожие фрагменты. MMR балансирует релевантность запросу и отличие от уже выбранных результатов. Порог сходства подбирайте на данных: близкий текст может содержать важное различие версии, числа или отрицания, поэтому универсальный порог опасен.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы