NER Retriever: Zero-Shot Named Entity Retrieval with Type-Aware Embeddings

#### Контекст Named Entity Retrieval (NER) — это важная задача в области обработки естественного языка, нацеленная на нахождение документов, содержащих упоминания основного субъекта запроса. Однако традиционные подходы требуют уточненных схем или обобщенных моделей, которые несколько ограничивают гибкость и широкую применимость. Это особенно важно в случаях, когда типы субъектов неизвестны заранее или приходят из нескольких источников. Данная работа адресует эти ограничения, предлагая новую подходящую методологию для zero-shot NER, которая может справиться с различными типами запросов без дополнительной моделирования. #### Метод Работа предлагает NER Retriever, фреймворк zero-shot для решения задачи Named Entity Retrieval. Основной идеей является использование внутренних представлений больших языковых моделей (LLMs), чтобы размечать субъекты и типы. Были использованы средние слои моделей, которые обеспечивают более тонкое типовое разделение. Для повышения точности, была употреблена лёгкая сеть проекции с контрастивным обучением, которая способствует взаимодействию типов субъектов. Это приводит к виду, который является типом-ориентированным, масштабируемым и легко интегрируемым в системы обработки естественного языка. #### Результаты Проведенные эксперименты показали, что NER Retriever показывает значимый выигрыш по сравнению с базовыми методами, в том числе с базовыми моделями, такими как BM25 и Dense Passage Retriever. Были проведены три эксперимента на разных датасетах, включая образцы с неизвестными типами, и во всех случаях NER Retriever демонстрировал выдачу результатов с более высоким точностным показателем. Это свидетельствует о потенциале этого подхода в реальных ситуациях. #### Значимость NER Retriever может быть применен в различных сферах, таких как анализ новостных материалов, клиентская поддержка и поисковые системы. В отличие от традиционных подходов, этот подход является схемой-независимым, что позволяет существенно упростить реализацию. Особенно ценно для компаний, которым необходимо гибко реагировать на изменения в типах субъектов запросов. #### Выводы В целом, NER Retriever превзошёл существующие методы в zero-shot NER. Такой подход доказывает значительный потенциал внедрения внутренних представлений LLMs для решения задач обработки естественного языка. Будущие исследования будут сосредоточены на расширении возможностей NER Retriever для более сложных датасетов и интеграции с другими моделями.