Reflect then Learn: Active Prompting for Information Extraction Guided by Introspective Confusion

------------------------------------------- ## Контекст В последние годы Large Language Models (LLMs) проявляют особую эффективность в задачах несупервизированного обучения, в том числе информационного извлечения (Information Extraction, IE). Однако их работоспособность в подготовленных контекстах (few-shot learning) чрезвычайно зависит от выбора контекста (интроспективных примеров). Традиционные подходы, опирающиеся на линейное сравнение или случайный выбор, нередко недостаточно эффективны, поскольку не учитывают специфику подзадач информационного извлечения. Эти задачи часто связаны с дополнительной сложностью, связанной не только с пониманием смысла, но и с генерацией структурированных ответов в определенном формате. Мы предлагаем новую модель Active Prompting for Information Extraction (APIE), которая активно выбирает примеры для обучения, ориентируясь на новую метрику — **introspective confusion**. Эта метрика декомпозирует неоднородную неопределенность модели на две компоненты: **Format Uncertainty** (неуверенность в генерации синтаксически корректных ответов) и **Content Uncertainty** (неоднозначность семантики). ------------------------------------------- ## Метод Основополагающим элементом APIE является **introspective confusion metric**, которая оценивает неопределенность модели на двух уровнях: 1. **Format Uncertainty** измеряется как вероятность того, что модель сгенерирует ответ с неверной синтаксической структурой. 2. **Content Uncertainty** измеряется как вероятность несоответствия ответа семантическим требованиям задачи. Вычисление этих показателей осуществляется с помощью двух специальных моделей: - **Format Predictor**, оценивающий вероятность появления синтаксических ошибок. - **Content Predictor**, определяющий вероятность несоответствия ответа логическим требованиям. Полученные оценки используются для прямого сравнения и отбора данных, которые затем подаются на обучение в качестве примеров. Эта стратегия позволяет активно нацеливаться на самые сложности задач, улучшая вклад каждого выбранного элемента в обучение. ------------------------------------------- ## Результаты Мы проверили APIE на четырех открытых бенчмарках, сравнив её с тремя современными подходами. Эксперименты показали, что APIE показывает значительное превосходство в: - **Accuracy**: до 5%-го прироста в точности извлечения данных. - **Robustness**: намного меньшую волатильность результатов при изменении выборки. - **Efficiency**: APIE эффективнее традиционных подходов в выборе данных, сокращая время обучения. Эти результаты доказывают, что APIE не только повышает точность, но и увеличивает стабильность моделей информационного извлечения в условиях ограниченных данных. ------------------------------------------- ## Значимость Выгоды APIE заключаются в первоначальном фокусе на точном определении неопределенности модели на двух уровнях. Это позволяет: - Улучшить **применение в реальной жиз