Document Summarization with Conformal Importance Guarantees

```## Контекст В статье рассматривается развитие автоматических систем автоматической суммирования документов с помощью больших языковых моделей (LLMs). Несмотря на значительные достижения в области LLMs, существуют значительные проблемы, связанные с отсутствием гарантий по включению критической информации в выделенные сводки, особенно в критических сферах, таких как здравоохранение, право и финансы. Эти проблемы могут привести к негативным последствиям, таким как ошибки в решающих процессах или недостаточность информации для принятия решений. Основная мотивация заключается в том, чтобы разработать метод, который обеспечивал бы гарантии по включению критической информации в автоматические сводки, уменьшая риски по неточности или пропускам важной информации. ## Метод Разработанная методика, названа **Conformal Importance Summarization**, основывается на подходе **conformal prediction** для обеспечения гарантий по включению критической информации. Метод работает с **sentence-level importance scores**, которые формируются на основе универсальных представлений текста из LLMs. Техника позволяет устанавливать пользовательские требования к **coverage и recall** для важной информации. Метод является **model-agnostic**, то есть может использоваться совместно с любыми LLMs без изменения их основной архитектуры. Он требует только небольшого **calibration set** для настройки гиперпараметров. Это позволяет ему быть мощным инструментом для применения в различных текстовых задачах, включая суммирования документов. ## Результаты На экспериментальных данных, взятых из популярных бенчмарков, таких как CNN/Daily Mail, наши результаты показывают, что Conformal Importance Summarization достигает теоретически обоснованных **coverage rates**, обеспечивая критическую информацию в выделенных сводках. Метод показал высокую **recall** и **precision** в сравнении с другими подходами, включая существующие методы, которые не обеспечивают гарантий по включению критической информации. ## Значимость Важность этого исследования заключается в том, что он предоставляет новый подход к решению проблемы недостатка гарантий в суммировании документов. Полученная методика может быть применена в критических сферах, где важность включения всей критической информации критична, таких как **legal analysis**, **medical documentation**, и **financial reporting**. Одним из основных преимуществ этого подхода является его универсальность и модельно-независимость, что делает его легко применяемым в различных существующих системах. ## Выводы Метод Conformal Importance Summarization представляет собой значительный шаг в области automatic summarization, обеспечивая гарантии по включению критической информации. Дальнейшие исследования будут сфокусированы