Какую модель выбрать для классификации текста по признакам bag of words?
NLPУровень: ПрактикаText classification
Какую модель выбрать для классификации текста по признакам bag of words?
Подсказки
- Разложите обработку текста на представление, модель и способ оценки.
- Проверьте неоднозначность языка, редкие слова и отличие обучающих текстов от целевых.
Ответ
Практичные исходные варианты — логистическая регрессия, линейный SVM или наивный Байес: они подходят для высокоразмерных разреженных векторов. Сравните их на одинаковой валидации. В исходном ответе перечислены также Word2Vec, fastText, CNN, LSTM и BERT, но это другие представления или архитектуры, а не прямой ответ о классификаторе над bag of words.
Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · перевод: Quantoros