Что такое TF-IDF и чем он полезнее простого подсчёта слов?
NLPУровень: БазаNatural language processing
Что такое TF-IDF и чем он полезнее простого подсчёта слов?
Подсказки
- Разложите обработку текста на представление, модель и способ оценки.
- Проверьте неоднозначность языка, редкие слова и отличие обучающих текстов от целевых.
Ответ
TF-IDF умножает частоту слова в документе на меру его редкости в коллекции: в простом варианте IDF(t)=log(N/df(t)). Поэтому слово, частое в конкретном документе, но редкое в корпусе, получает больший вес, чем общеупотребительное слово. Это помогает различать темы документов. Конкретные реализации могут сглаживать IDF, логарифмировать TF и нормировать вектор; параметры статистики следует оценивать только на обучающей части.
Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros