К содержанию
Quantoros

Что такое N-граммы и как их используют?

NLPУровень: ПрактикаText classification

Что такое N-граммы и как их используют?

Подсказки
  • Разложите обработку текста на представление, модель и способ оценки.
  • Проверьте неоднозначность языка, редкие слова и отличие обучающих текстов от целевых.

Ответ

N-грамма — последовательность N соседних токенов, например слов. Биграммы и триграммы позволяют учитывать локальный порядок и устойчивые сочетания, которые теряются в обычном мешке отдельных слов. Их частоты можно использовать как признаки текста.

Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · перевод: Quantoros

Похожие вопросы