Какие бывают стратегии разбиения документов и как выбрать размер фрагмента?
LLM & AIУровень: ПрактикаChunking & Indexing
Какие бывают стратегии разбиения документов и как выбрать размер фрагмента?
Подсказки
- Разложите запрос на поиск кандидатов, отбор контекста и генерацию.
- Как определить, на каком этапе потерян нужный факт, не оценивая всё одной итоговой метрикой?
Ответ
Можно делить по числу токенов, предложениям, иерархии заголовков или смысловым границам; рекурсивная схема сначала сохраняет крупные естественные блоки. Малые фрагменты точнее локализуют факт, но теряют контекст; большие сохраняют связи, но добавляют шум. Перекрытие уменьшает потери на границах и увеличивает объём индекса. Подбирайте размер и overlap по размеченным запросам, полноте поиска и качеству ответов, а не по универсальному «идеальному» числу токенов.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros