Что такое NER и почему задача сложнее поиска ключевых слов?
NLPУровень: БазаNatural language processing
Что такое NER и почему задача сложнее поиска ключевых слов?
Подсказки
- Разложите обработку текста на представление, модель и способ оценки.
- Проверьте неоднозначность языка, редкие слова и отличие обучающих текстов от целевых.
Ответ
NER находит фрагменты текста, обозначающие сущности, и присваивает им типы: человек, организация, место, дата. Нужно определить не только тип, но и границы упоминания. Одно название может иметь разные значения в разных контекстах, а новые сущности отсутствовать в словаре. Поэтому используют контекстные модели и разметку последовательности, например BIO-теги с трансформерным энкодером.
Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros