К содержанию
Quantoros

Какие бывают стратегии разбиения документов и как выбрать размер фрагмента?

LLM & AIУровень: ПрактикаChunking & Indexing

Какие бывают стратегии разбиения документов и как выбрать размер фрагмента?

Подсказки
  • Разложите запрос на поиск кандидатов, отбор контекста и генерацию.
  • Как определить, на каком этапе потерян нужный факт, не оценивая всё одной итоговой метрикой?

Ответ

Можно делить по числу токенов, предложениям, иерархии заголовков или смысловым границам; рекурсивная схема сначала сохраняет крупные естественные блоки. Малые фрагменты точнее локализуют факт, но теряют контекст; большие сохраняют связи, но добавляют шум. Перекрытие уменьшает потери на границах и увеличивает объём индекса. Подбирайте размер и overlap по размеченным запросам, полноте поиска и качеству ответов, а не по универсальному «идеальному» числу токенов.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы