## Контекст В последние годы значительное внимание уделяется развитию систем рекомендаций, которые обеспечивают понятность своих решений и могут объяснить свои рекомендации пользователям. Однако многие из существующих подходов к объяснению рекомендаций либо ограничены синтетическими экспериментами, либо недостаточно учитывают реальных пользователей. Наша работа фокусируется на доказательстве того, что ло LLM могут генерировать эффективные пользовательские объяснения для математически интерпретируемой модели рекомендаций, основанной на ограниченном факторном разложении матрицы. Эта модель характеризуется явной представлением пользовательских предпочтений и линейным масштабом предсказанных баллов, что делает её репрезентации и рекомендациями непосредственно понятными. Целью нашего исследования является изучение как пользователи реагируют на различные стили объяснений, сгенерированных с помощью LLM, и как эти стили влияют на их оценку качества рекомендаций. ## Метод Мы использовали констрейнтную модель факторного разложения матрицы, где заданы ограничения на пользовательские предпочтения, и предсказания размером, соответствующим масштабу наблюдаемых рейтингов. Для сгенерирования естественноязычных объяснений, мы разработали комплексные модели для трансформации матричных данных в естественный язык с помощью LLM. Мы создали несколько вариантов объяснений, изменяя входные данные для LLM, такие как описания пользовательских предпочтений или предполагаемые рекомендации. Эксперименты проводились с участием 326 пользователей, которые оценили качество объяснений по 5 ключевым критериям: транспарентность, эффективность, убедительность, доверие и удовлетворенность. Также мы провели анализ комментариев пользователей, чтобы получить дополнительные подробности о предпочтениях пользователей. ## Результаты Пользователи оценили все типы объяснений стабильно высоким рейтингом, хотя были заметные различия во время обработки некоторых типов объяснений. Объяснения, основанные на предпочтениях пользователей, получили высокую оценку по транспарентности и доверию, но менее эффективными оказались в убеждении пользователей. Объяснения, основанные на предполагаемых рекомендациях, оказались более убедительными и удовлетворяли пользователей больше, но показали меньшую транспарентность. Общая удовлетворенность пользователей была высокой, но варианты, объясняющие и то и другое, показали самые высокие показатели во всех критериях. Комментарии пользователей подтвердили эти наблюдения и дали дополнительные подробности о том, как люди ре

## КОНТЕКСТ И ПРОБЛЕМАТИКА Анализ научной литературы является ключевой задачей в научных исследованиях, поскольку позволяет выявить тенденции, проблемы и направления развития в различных областях знания. Однако, несмотря на широкий выбор методов и инструментов для анализа научных текстов, существуют значительные трудности в автоматизации процесса создания и классификации литературных обзоров. Одним из ключевых факторов, ограничивающих эффективность таких систем, является отсутствие точных и стандартизированных методов для аннотации текстов по ретוריческим ролям, таким как исследования, результаты, ограничения и расширения существующих методологий. В последние годы применение искусственного интеллекта (ИИ) в анализе научной литературы стало все более популярным, однако достижение высокого качества в автоматическом классификации текстовых фрагментов по-прежнему представляет собой сложную задачу. Многие существующие модели искусственного интеллекта (в том числе большие языковые модели, Large Language Models, LLMs) успешно применяются для решения различных задач, но их эффективность в классификации ретוריческих ролей в научных текстах остается недостаточно изученной. Данная статья предлагает решение этих проблем путем разработки новой аннотационной схемы, специально предназначенной для поддержки генерации литературных обзоров, и проведения комплексной оценки различных LLMs на задаче классификации ретוריческих ролей. Разработанная схема аннотации имеет потенциал для создания систем, способных генерировать высококачественные обзоры научной литературы. ## ПРЕДЛОЖЕННЫЙ МЕТОД Авторы статьи предлагают новую аннотационную схему, ориентированную на классификацию текстовых фрагментов по ретוריческим ролям, таким как "исследования", "результаты", "ограничения" и "расширения методологии". Эта схема разработана специально для поддержки процесса генерации литературных обзоров и включает в себя несколько ключевых элементов. Во-первых, авторы представляют Sci-Sentence, новый многодисциплинарный бенчмарк, который состоит из 700 фрагментов текста, аннотированных вручную экспертами, и 2240 фрагментов, аннотированных с помощью LLMs. Данный бенчмарк представляет собой важный инструмент для оценки эффективности моделей на задаче классификации ретוריческих ролей. Во-вторых, авторы оценивают 37 различных LLMs, представляющих собой разнообразные модели, включая как закрытые (проприетарные) модели, такие как GPT-4o, так и открытые модели. Оценка проводится в рамках двух подходов: zero-shot learning (обучение без дополнительных данных) и fine-tuning (дообучение модели на специально подготовленных данных). Третья часть методологии заключается в использовании семи-синтетических данных, сгенерированных LLMs, для дообучения моделей. Это позволяет улучшить качество классификации, особенно для малых моделей и открытых моделей, которые обычно имеют меньшие ресурсы по сравнению с закрытыми моделями. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ В рамках экспериментов были использованы 37 LLMs, включая модели различных размеров и семейств. Авторы провели оценку этих моделей на Sci-Sentence бенчмарке, используя zero-shot learning и fine-tuning. Результаты показали, что современные LLMs достигают высоких показателей точности (F1-меры выше 96%) при fine-tuning на высококачественных данных. Особенно высокие результаты показали закрытые модели, такие как GPT-4o, но некоторые легковесные открытые модели также показали отличные результаты. Кроме того, использование семи-синтетических данных, сгенерированных LLMs, показало свою эффективность в улучшении качества классификации. Это позволило малым моделям достичь более высоких результатов и значительно улучшило результаты нескольких открытых моделей с декодером. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Разработанная аннотационная схема и Sci-Sentence бенчмарк имеют значительный потенциал для применения в области анализа научной литературы. Они могут быть использованы для создания систем, способных автоматически генерировать высококачественные литературные обзоры, что является важной задачей в научном сообществе. Преимущества метода включают в себя возможность использования открытых моделей с высоким качеством классификации, что делает метод более доступным для широкого круга исследователей. Кроме того, использование семи-синтетических данных может существенно повысить эффективность моделей, особенно для малых и открытых моделей, что позволяет расширить область их применения. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ В рамках данной работы были достигнуты значительные результаты в области классификации ретוריческих ролей в научной литературе. Авторы подтвердили высокую эффективность современных LLMs при fine-tuning на высококачественных данных и показали потенциал открытых моделей в этой области. Будущие исследования могут фокусироваться на дальнейшем улучшении аннотационной схемы и разработке более эффективных методов для генерации высококачественных синтетических данных. Кроме того, необходимо продолжать исследования в области открытых моделей, чтобы сделать их более доступными и эффективными для широкого круга пользователей.