К содержанию
Quantoros

Почему часть слова остаётся в признаках, хотя содержащая её сокращённая форма есть в stop list?

Classic MLУровень: ПрактикаStop-list preprocessing

Почему часть слова остаётся в признаках, хотя содержащая её сокращённая форма есть в stop list?

Подсказки
  • Stop list сопоставляется после обработки.
  • Исходные строки и токены могут различаться.

Ответ

Токенизатор может разбить указанную форму на другие токены. Применяйте одинаковую предобработку к stop words и документам и проверяйте реальный поток токенов.

Источник и лицензия: scikit-learn 1.7.2 — feature extraction · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros

Похожие вопросы