XFinBench: Benchmarking LLMs in Complex Financial Problem Solving and Reasoning

## Контекст ### Область исследования Финансовые задачи часто требуют глубокого анализа, многомодальной обработки данных и широкого технического понимания. Однако существующие модели текстовых генераторов не всегда справляются с такими задачами, требуя новых подходов к оценке и развитию их возможностей. ### Проблема Существуют недостатки в моделях глубокого обучения при работе с финансовыми проблемами, которые требуют сложного логического рассуждения, взаимодействия с изображениями и работы с текстом. Недостаток в технических решениях в сфере финансов подрывает возможность эффективного использования технологий LLMs. ### Мотивация Необходимо создать бенчмарк, который бы позволил эффективно оценивать LLMs на сложных задачах финансового анализа и решения. Это позволит повысить качество моделей и сделать их более применимыми в реальной финансовой сфере. ## Метод ### Методология Использована многомодальная архитектура, включающая текст, изображения и тематические словари. Бенчмарк XFinBench состоит из 4,235 задач, касающихся различных финансовых тем и требующих разных моделей логического мышления. ### Технические решения Архитектура XFinBench основана на создании контекстно-зависимых задач, использующих мультимодальные данные. Был реализован комплексный подход для оценки таких моделей, включающий в себя визуальные и текстовые контексты. ### Архитектура XFinBench использует мультимодальную архитектуру, включающую в себя классификационную модель для текстового контекста, изображения и специального словарного запаса для финансовых задач. ## Результаты ### Эксперименты Были проведены испытания на 18 лидирующих моделях, включая опенсорсные и коммерческие. Оценка производилась по пяти ключевым качеству: определение терминов, временное рассуждение, прогнозирование будущих событий, сценарий планирования и численный моделирование. ### Использованные данные Для тестирования был использован большой датасет, включая задачи, требующие разных моделей логического мышления. ### Результаты Модель o1 показала лучшую точность среди текстовых моделей (67.3%), но оставалась далеко за работой человеческих экспертов (12.5%). Особые трудности модели представляли временное рассуждение и сценарий планирования. ## Значимость ### Области применения XFinBench может применяться в разработке новых моделей LLMs, а также в обучении моделей для финансового анализа и решения задач. ### Преимущества Предоставляет новые возможности для оценки моделей, позволяя идентифицировать слабые места и сфокусироваться на