Почему односимвольные идентификаторы могут исчезнуть при стандартном CountVectorizer?
Classic MLУровень: ПрактикаToken-pattern surprises
Почему односимвольные идентификаторы могут исчезнуть при стандартном CountVectorizer?
Подсказки
- Отлаживайте analyzer до классификатора.
- Токенизация — часть проектирования признаков.
Ответ
Стандартный token pattern исключает односимвольные токены. Проверьте build_analyzer и настройте токенизацию, если такие идентификаторы важны задаче.
Источник и лицензия: scikit-learn 1.7.2 — feature extraction · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros