К содержанию
Quantoros

Что такое TF-IDF и чем он полезен при классификации текста?

NLPУровень: ПрактикаText classification

Что такое TF-IDF и чем он полезен при классификации текста?

Подсказки
  • Разложите обработку текста на представление, модель и способ оценки.
  • Проверьте неоднозначность языка, редкие слова и отличие обучающих текстов от целевых.

Ответ

TF отражает частоту слова в документе, IDF — его редкость во всей коллекции. Их сочетание уменьшает вес слов, встречающихся почти везде, и выделяет более характерные для документа термины. Например, частое служебное слово обычно менее полезно для определения темы, чем специфический термин.

Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · перевод: Quantoros

Похожие вопросы