Как биграммы слов исправляют одно из ограничений unigram bag of words?
Classic MLУровень: ПрактикаLocal word-order features
Как биграммы слов исправляют одно из ограничений unigram bag of words?
Подсказки
- Сравните счётчики отдельных слов и соседних пар.
- Локальный порядок не равен полному синтаксису.
Ответ
Они кодируют соседние сочетания, сохраняя часть локального порядка и различая фразы с похожими счётчиками слов. Словарь растёт, а произвольная дальняя структура не восстанавливается.
Источник и лицензия: scikit-learn 1.7.2 — feature extraction · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros