Что делать, если эмбеддинги плохо понимают специальную терминологию?
LLM & AIУровень: ПрактикаTroubleshooting Scenarios
Что делать, если эмбеддинги плохо понимают специальную терминологию?
Подсказки
- Разложите запрос на поиск кандидатов, отбор контекста и генерацию.
- Как определить, на каком этапе потерян нужный факт, не оценивая всё одной итоговой метрикой?
Ответ
Добавьте лексический поиск, чтобы находить точные термины и коды, и используйте проверенный словарь сокращений и синонимов. Сравните модели эмбеддингов на доменных запросах; при наличии подходящих пар можно дообучить retrieval-модель. Проверьте разбиение документов и сохранение определений рядом с терминами. Уменьшение фрагментов иногда помогает, но способно потерять контекст, поэтому решение выбирают по метрикам.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros