Prompt Tuning for Few-Shot Continual Learning Named Entity Recognition

## Контекст Контингентно-номинативное распознавание (Named Entity Recognition, NER) широко применяется в области естественного языка, включая системы рекомендаций, мониторинга социальных сетей и распознавание сущностей в реальном времени. Одним из основных вызовов для NER является **непрерывное обучение** (Continual Learning, CL), где модель должна учиться распознавать новые классы сущностей, не теряя уже накопленных знаний. Другой вызов — **недостаточное количество данных** (Few-Shot Learning, FSL), когда новые классы представлены малой выборкой. **Few-Shot Continual Learning Named Entity Recognition (FS-CLNER)** объединяет эти проблемы, что делает его одним из наиболее сложных заданий в области NER. Наиболее распространенной стратегией для FS-CLNER является **Knowledge Distillation (KD)**, где модель-учитель (teacher), обученная на старых классах, передает свои знания модели-ученику (student) для регуляризации. Однако в FS-CLNER недостаточно данных для эффективного обучения модели-ученицы, что приводит к **Few-Shot Distillation Dilemma**, когда модель не может нормально регуляризоваться и поддерживать предыдущие знания. ## Метод Для решения приведенных вызовов вводится **Anchor Words-oriented Prompt Tuning (APT)** — парадигма, ориентированная на анкор-слова (anchor words), которая устраняет трудности перехода между предварительным обучением (pre-training) и окончательным адаптированием (fine-tuning). APT работает так: для каждого класса создается **Prompt Template**, содержащий анкор-слова, характеризующие данный класс. Эти шаблоны затем используются для адаптации модели к новым классам во время непрерывного обучения. **Memory Demonstration Templates (MDT)** добавляются в каждое новое обучение для поддержки **In-Context Learning**. MDT состоит из примеров из предыдущих задач, которые меняются динамически в зависимости от новых классов. Это позволяет модели получить доступ к памяти прошлых задач, что улучшает устойчивость и генерализуемость. ## Результаты Опыты проводились на нескольких комплектах данных FS-CLNER, включая FewGLUE и FewCLUE. Модель была сравнена с другими популярными методами, такими как E-BERT и DistilBERT. Результаты показывают, что APT с MDT не только повышает F1-меру распознавания сущностей, но и улучшает устойчивость модели в условиях недостатка данных. В частности, APT с MDT показал **до 15% повышение F1-меры** по сравнению с основными подходами в FS-CLNER. Эти результаты доказывают, что предложенный подход эффективно решает проблему Few-Shot Distillation Dilemma и демонстрирует хорошую генерализуемость. ## Значимость Предложенный подход имеет широкие применения в сценариях, где необходимо эффективное обработка небольших объемов данных. Например, в системах мониторинга социальных сетей, где новые сущности (например, новые продукты или события) по