Как перейти на эмбеддинги другой размерности?
NLPУровень: ПрактикаTroubleshooting Scenarios
Как перейти на эмбеддинги другой размерности?
Подсказки
- Что означает близость в выбранном представлении и метрике?
- Проверьте нормировку, точный и приближённый поиск, а также соответствие обучения поисковой задаче.
Ответ
Создайте новый индекс с новой размерностью и пересчитайте документы соответствующей моделью. Во время построения синхронизируйте изменения, проверьте покрытие и качество на эталонных запросах. Затем атомарно переключите индекс и энкодер запросов, оставив возможность отката. При dual-query выдачи разных моделей лучше объединять по рангам или калиброванным оценкам, а не напрямую сравнивать сырые расстояния. Даже равная размерность не даёт совместимости разных моделей.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros