Почему часть слова остаётся в признаках, хотя содержащая её сокращённая форма есть в stop list?
Classic MLУровень: ПрактикаStop-list preprocessing
Почему часть слова остаётся в признаках, хотя содержащая её сокращённая форма есть в stop list?
Подсказки
- Stop list сопоставляется после обработки.
- Исходные строки и токены могут различаться.
Ответ
Токенизатор может разбить указанную форму на другие токены. Применяйте одинаковую предобработку к stop words и документам и проверяйте реальный поток токенов.
Источник и лицензия: scikit-learn 1.7.2 — feature extraction · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros