Что такое эмбеддинги слов и как работает Word2Vec?
NLPУровень: ПрактикаText classification
Что такое эмбеддинги слов и как работает Word2Vec?
Подсказки
- Что означает близость в выбранном представлении и метрике?
- Проверьте нормировку, точный и приближённый поиск, а также соответствие обучения поисковой задаче.
Ответ
Эмбеддинг — плотный числовой вектор слова, отражающий особенности его употребления; похожие по контексту слова получают близкие представления. Word2Vec обучает такие векторы по корпусу. CBOW предсказывает слово по окружению, Skip-gram — окружающие слова по центральному.
Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · перевод: Quantoros