Benchmarking Computer Science Survey Generation

## Контекст Область исследования, связанная с поиском и анализом информации в области научных публикаций, является важной для улучшения доступности и понимания научных знаний. Настоящий взгляд на мотивации, связанные с развитием технологий для автоматизации генерации научных статей, показывает, что это помогает улучшить процесс сбора и подбора сведений для научных статей. Однако существуют сложности, такие как необходимость ручной работы и нехватка бенчмарков для оценки автоматизированных технологий. Эти ограничения затрудняют развитие систем, которые могли бы эффективно автоматизировать генерацию статей научных обзоров, как в области компьютерных наук. ## Метод В данном исследовании предлагается SurGE (Survey Generation Evaluation), новый бенчмарк для оценки моделей, которые генерируют научные обзоры в области компьютерных наук. Бенчмарк включает (1) коллекцию тестовых примеров, каждый из которых содержит описание темы, экспертно написанный обзор и его список цитирований, и (2) крупную коллекцию академических документов, служащую как базу для поиска информации. Методология включает разработку фреймворка для автоматической оценки генерируемых статей по таким критериям, как полнота информации, точность цитирований, структурная организация и качество содержания. Это позволяет провести комплексную оценку моделей, выделив сложности и трудности в задаче генерации научных обзоров. ## Результаты В ходе экспериментов были протестированы различные модели, включая LLMs (large language models), для оценки их работы в SurGE. Результаты показали, что генерация научных обзоров остается высокой сложной задачей, даже для моделей с самостоятельной оценкой. Оценка показала существующие проблемы, такие как несогласованность цитирований, неполнота информации и несоответствие структурным требованиям. Эти результаты подчеркивают необходимость дальнейшего исследования для улучшения моделей, чтобы они могли стать более эффективными и точными в генерации научных статей. ## Значимость Научные обзоры играют важную роль в научном сообществе, поскольку они дают обзор развития науки и помогают в понимании перспектив. Улучшенные модели генерации обзоров могут иметь значительное влияние, облегчив процесс создания обзорных статей и улучшив доступность научной информации. В то же время, SurGE может стать базой для открытого развития технологий в этой области, позволяя разработчикам создавать и тестировать модели с открытым кодом. Это дает возможность совершенствовать технологии и привлекать внимание к задаче генерации обзоров в научных статьях. ## Выводы В этом исследовани