К содержанию
Quantoros

Почему превращение генеративной модели в embedding-модель не гарантирует качественный поиск?

LLM & AIУровень: ПрактикаEmbedding model task suitability

Почему превращение генеративной модели в embedding-модель не гарантирует качественный поиск?

Подсказки
  • Какая функция обучения сформировала пространство признаков?
  • Проверьте pooling и качество поиска, а не размер вектора.

Ответ

Из hidden states можно получить векторы, но language-modeling objective не оптимизирует напрямую сходство для поиска. Специализированный checkpoint обычно обучен под retrieval и задаёт pooling, нормализацию и формат входа. Сравните Recall@k или ranking-метрики на целевом корпусе в одинаковом пайплайне; число параметров само по себе не критерий.

Источник и лицензия: vLLM contributors — FAQ · Apache-2.0 · ответ: редакция Quantoros · перевод: Quantoros

Похожие вопросы