Почему превращение генеративной модели в embedding-модель не гарантирует качественный поиск?
LLM & AIУровень: ПрактикаEmbedding model task suitability
Почему превращение генеративной модели в embedding-модель не гарантирует качественный поиск?
Подсказки
- Какая функция обучения сформировала пространство признаков?
- Проверьте pooling и качество поиска, а не размер вектора.
Ответ
Из hidden states можно получить векторы, но language-modeling objective не оптимизирует напрямую сходство для поиска. Специализированный checkpoint обычно обучен под retrieval и задаёт pooling, нормализацию и формат входа. Сравните Recall@k или ranking-метрики на целевом корпусе в одинаковом пайплайне; число параметров само по себе не критерий.
Источник и лицензия: vLLM contributors — FAQ · Apache-2.0 · ответ: редакция Quantoros · перевод: Quantoros