К содержанию
Quantoros

Почему HashingVectorizer удобен при постоянно новых словах и невозможности полного прохода для словаря?

Classic MLУровень: ПрактикаStateless streaming vocabulary

Почему HashingVectorizer удобен при постоянно новых словах и невозможности полного прохода для словаря?

Подсказки
  • Индексы не обязательно обучать на всём корпусе.
  • Фиксированная ширина не означает отсутствие коллизий.

Ответ

Он отображает токены в пространство фиксированной размерности без растущего обучаемого словаря. Новые слова кодируются сразу, а коллизии обмениваются на память и ширину модели.

Источник и лицензия: scikit-learn 1.7.2 — feature extraction · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros

Похожие вопросы