К содержанию
Quantoros

Что такое NER и почему задача сложнее поиска ключевых слов?

NLPУровень: БазаNatural language processing

Что такое NER и почему задача сложнее поиска ключевых слов?

Подсказки
  • Разложите обработку текста на представление, модель и способ оценки.
  • Проверьте неоднозначность языка, редкие слова и отличие обучающих текстов от целевых.

Ответ

NER находит фрагменты текста, обозначающие сущности, и присваивает им типы: человек, организация, место, дата. Нужно определить не только тип, но и границы упоминания. Одно название может иметь разные значения в разных контекстах, а новые сущности отсутствовать в словаре. Поэтому используют контекстные модели и разметку последовательности, например BIO-теги с трансформерным энкодером.

Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros

Похожие вопросы