К содержанию
Quantoros

Что такое TF-IDF и чем он полезнее простого подсчёта слов?

NLPУровень: БазаNatural language processing

Что такое TF-IDF и чем он полезнее простого подсчёта слов?

Подсказки
  • Разложите обработку текста на представление, модель и способ оценки.
  • Проверьте неоднозначность языка, редкие слова и отличие обучающих текстов от целевых.

Ответ

TF-IDF умножает частоту слова в документе на меру его редкости в коллекции: в простом варианте IDF(t)=log(N/df(t)). Поэтому слово, частое в конкретном документе, но редкое в корпусе, получает больший вес, чем общеупотребительное слово. Это помогает различать темы документов. Конкретные реализации могут сглаживать IDF, логарифмировать TF и нормировать вектор; параметры статистики следует оценивать только на обучающей части.

Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros

Похожие вопросы