К содержанию
Quantoros

Что делать, если эмбеддинги плохо понимают специальную терминологию?

LLM & AIУровень: ПрактикаTroubleshooting Scenarios

Что делать, если эмбеддинги плохо понимают специальную терминологию?

Подсказки
  • Разложите запрос на поиск кандидатов, отбор контекста и генерацию.
  • Как определить, на каком этапе потерян нужный факт, не оценивая всё одной итоговой метрикой?

Ответ

Добавьте лексический поиск, чтобы находить точные термины и коды, и используйте проверенный словарь сокращений и синонимов. Сравните модели эмбеддингов на доменных запросах; при наличии подходящих пар можно дообучить retrieval-модель. Проверьте разбиение документов и сохранение определений рядом с терминами. Уменьшение фрагментов иногда помогает, но способно потерять контекст, поэтому решение выбирают по метрикам.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы