Является ли bag-of-words представление текста разреженной матрицей?
NLPУровень: ПрактикаML concepts — Sebastian Raschka FAQ
Является ли bag-of-words представление текста разреженной матрицей?
Подсказки
- Разложите обработку текста на представление, модель и способ оценки.
- Проверьте неоднозначность языка, редкие слова и отличие обучающих текстов от целевых.
Ответ
Обычно да: строка соответствует документу, столбец — слову словаря, а большинство слов в отдельном документе отсутствует. Но это свойство данных, а не обязательное правило. Для трёх коротких похожих документов и маленького общего словаря матрица может быть довольно плотной. Например, при словаре [кот, спит, пёс] документы «кот спит» и «пёс спит» дают [1,1,0] и [0,1,1]. Разреженный формат хранения выгоден, когда нулей действительно много.
Источник и лицензия: Sebastian Raschka — Python Machine Learning FAQ · MIT · перевод: Quantoros