Почему поиск и генерацию в RAG нужно оценивать отдельно?
LLM & AIУровень: ПрактикаRAG (Retrieval-Augmented Generation)
Почему поиск и генерацию в RAG нужно оценивать отдельно?
Подсказки
- Уточните этап: предобучение, адаптация, генерация или оценка.
- Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.
Ответ
Одинаковый неверный ответ может возникнуть из-за отсутствия нужных фрагментов или из-за того, что генератор неправильно использовал хорошие источники. Одна итоговая метрика смешивает эти причины. Оценивайте полноту и порядок найденного, затем правильность и обоснованность ответа при известном контексте. Так ясно, что исправлять: индекс и разбиение либо инструкции, модель и проверку генерации.
Источник и лицензия: Skillumen — Awesome AI Engineer Interview Questions · CC0-1.0 · перевод: Quantoros