Почему HashingVectorizer удобен при постоянно новых словах и невозможности полного прохода для словаря?
Classic MLУровень: ПрактикаStateless streaming vocabulary
Почему HashingVectorizer удобен при постоянно новых словах и невозможности полного прохода для словаря?
Подсказки
- Индексы не обязательно обучать на всём корпусе.
- Фиксированная ширина не означает отсутствие коллизий.
Ответ
Он отображает токены в пространство фиксированной размерности без растущего обучаемого словаря. Новые слова кодируются сразу, а коллизии обмениваются на память и ширину модели.
Источник и лицензия: scikit-learn 1.7.2 — feature extraction · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros