Что такое мешок слов и как использовать его для классификации?
NLPУровень: ПрактикаText classification
Что такое мешок слов и как использовать его для классификации?
Подсказки
- Разложите обработку текста на представление, модель и способ оценки.
- Проверьте неоднозначность языка, редкие слова и отличие обучающих текстов от целевых.
Ответ
Bag of words представляет документ частотами или наличием слов из словаря. Каждому слову соответствует признак; порядок слов не учитывается. Полученный числовой вектор подают в классификатор.
Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · перевод: Quantoros