Как объединить эмбеддинги слов в один вектор предложения?
NLPУровень: ПрактикаText classification
Как объединить эмбеддинги слов в один вектор предложения?
Подсказки
- Что означает близость в выбранном представлении и метрике?
- Проверьте нормировку, точный и приближённый поиск, а также соответствие обучения поисковой задаче.
Ответ
Простые варианты — среднее всех векторов или взвешенное среднее, например с весами IDF. Более сложный подход — обучаемая модель последовательности: LSTM или Transformer, которая учитывает контекст и порядок слов.
Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · перевод: Quantoros