К содержанию
Quantoros

Что такое эмбеддинги слов и как Word2Vec их обучает?

NLPУровень: БазаNatural language processing

Что такое эмбеддинги слов и как Word2Vec их обучает?

Подсказки
  • Что означает близость в выбранном представлении и метрике?
  • Проверьте нормировку, точный и приближённый поиск, а также соответствие обучения поисковой задаче.

Ответ

Эмбеддинг — плотный вектор слова, в котором сходство контекстов может отражаться близостью векторов. Word2Vec обучается на предсказании: CBOW восстанавливает слово по соседям, а Skip-gram предсказывает соседние слова по центральному. Обученные веса таблицы представлений становятся эмбеддингами. В отличие от one-hot они отражают статистические отношения между словами; известный пример king−man+woman≈queen иллюстративен, но не является гарантией для любого корпуса.

Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros

Похожие вопросы