Что такое эмбеддинги слов и как Word2Vec их обучает?
NLPУровень: БазаNatural language processing
Что такое эмбеддинги слов и как Word2Vec их обучает?
Подсказки
- Что означает близость в выбранном представлении и метрике?
- Проверьте нормировку, точный и приближённый поиск, а также соответствие обучения поисковой задаче.
Ответ
Эмбеддинг — плотный вектор слова, в котором сходство контекстов может отражаться близостью векторов. Word2Vec обучается на предсказании: CBOW восстанавливает слово по соседям, а Skip-gram предсказывает соседние слова по центральному. Обученные веса таблицы представлений становятся эмбеддингами. В отличие от one-hot они отражают статистические отношения между словами; известный пример king−man+woman≈queen иллюстративен, но не является гарантией для любого корпуса.
Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros