Каковы плюсы и минусы мешка слов?
NLPУровень: ПрактикаText classification
Каковы плюсы и минусы мешка слов?
Подсказки
- Разложите обработку текста на представление, модель и способ оценки.
- Проверьте неоднозначность языка, редкие слова и отличие обучающих текстов от целевых.
Ответ
Он прост для понимания и реализации. Недостатки — большой словарь, высокая размерность и разреженность, а также потеря порядка и контекста. Одинаковые слова в разных конструкциях могут означать разное, а синонимы без дополнительной обработки считаются независимыми признаками.
Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · перевод: Quantoros