Что такое chunking и почему неудачное разбиение ухудшает поиск?
LLM & AIУровень: БазаRAG (Retrieval-Augmented Generation)
Что такое chunking и почему неудачное разбиение ухудшает поиск?
Подсказки
- Разложите запрос на поиск кандидатов, отбор контекста и генерацию.
- Как определить, на каком этапе потерян нужный факт, не оценивая всё одной итоговой метрикой?
Ответ
Документ делят на фрагменты, которые отдельно индексируются и сопоставляются с запросом. Слишком большой фрагмент смешивает важный факт с посторонними темами, слишком маленький теряет определения и разрывает ответ между частями. Сохраняйте естественные границы, заголовки и связи, при необходимости используйте перекрытие или возврат родительского раздела. Качество размера проверяют на реальных запросах.
Источник и лицензия: Skillumen — Awesome AI Engineer Interview Questions · CC0-1.0 · перевод: Quantoros