ALLabel: Three-stage Active Learning for LLM-based Entity Recognition using Demonstration Retrieval

## Контекст Одним из ключевых задач в научных исследованиях, таких как химия и материаловедение, является высокоточное распознавание сущностей (entity recognition) в больших научных данных. Эта задача требует больших вычислительных мощностей и подверждается ошибкам, когда сущности неправильно распознаются. Большие языковые модели (LLM) становятся популярнее для решения этой задачи, но их применение часто связано с высокими затратами, особенно в процессе файн-тюнинга. Из-за этого нуждается в разработке более эффективных подходов, которые бы уменьшили затраты, не ухудшая качество распознавания. ## Метод Мы предлагаем ALLabel — трехэтапную модель для активного обучения (active learning), которая применяет технологию воспроизведения демонстраций (demonstration retrieval) для повышения эффективности. В первом этапе модель выбирает самые сложные и неоднозначные примеры для аннотации, чтобы имитировать их ввод в модель. Во втором этапе эти примеры используются для создания корпуса для включения в контекстное обучение (in-context learning) модели. На третьем этапе ALLabel использует три различных стратегии активного обучения для последовательного улучшения качества распознавания сущностей. ## Результаты Мы провёрили эффективность ALLabel на трёх датасетах специализированных областей: химия, материаловедение и биология. Наши эксперименты показали, что ALLabel показывает высокую эффективность, требуя только 5-10% аннотаций для достижения результатов, которые не уступают базовым моделям, работавшим с полной аннотацией. Мы также провели анализы и исследовали различные аспекты модели, чтобы подтвердить её общие возможности и ликвидность в различных ситуациях. ## Значимость ALLabel может применяться во многих научных областях, где требуется высокоточное распознавание сущностей, таких как химия, материаловедение и биология. Она эффективно решает проблему высоких затрат на воспроизводство демонстраций и обучения моделей, снижая необходимый объём данных для тренировки. Это приводит к сокращению затрат на предобучение и высокому качеству распознавания сущностей. ## Выводы ALLabel демонстрирует свою эффективность в активном обучении для LLM-based entity recognition. Наши результаты показали, что модель успешно решает задачу распознавания сущностей с минимальными затратами, не уменьшая качество распознавания. В дальнейших исследованиях планируется расширить её применимость к другим специализированным областям, а также улучшить процессы выбора и аннотации данных.