FutureX: An Advanced Live Benchmark for LLM Agents in Future Prediction
2508.11987v1
cs.AI, cs.LG
2025-08-19
Авторы:
Zhiyuan Zeng, Jiashuo Liu, Siyuan Chen, Tianci He, Yali Liao, Jinpeng Wang, Zaiyuan Wang, Yang Yang, Lingyue Yin, Mingren Yin, Zhenwei Zhu, Tianle Cai, Zehui Chen, Jiecao Chen, Yantao Du, Xiang Gao, Jiacheng Guo, Liang Hu, Jianpeng Jiao, Xiangsheng Li, Jingkai Liu, Shuang Ni, Zhoufutu Wen, Ge Zhang, Kaiyuan Zhang, Xin Zhou, Jose Blanchet, Xipeng Qiu, Mengdi Wang, Wenhao Huang
Резюме на русском
#### Контекст
Прогнозирование будущего является высокоаналитической задачей, требующей внимательного сбора информации, контекстуального понимания и принятия решений в условиях неопределенности. Искуственные интеллектные агенты должны обрабатывать массу динамической информации, целостно интегрировать разнообразные источники данных, учитывать возможные неопределенности и адаптировать прогнозы под новые тенденции. Несмотря на его важность, существует нет большого масштабного бенчмарка для оценки производительности таких агентов в актуальных условиях. Основные проблемы включают реализацию реального времени, обеспечение точности ответов и сбережение безусловной чистоты данных в процессе. Данная работа предлагает $\textbf{FutureX}$, первый динамический и в реальном времени оцениваемый бенчмарк, ориентированный на оценку показателей Логических Лингвистических Моделей (LLM) при выполнении прогностических задач.
#### Метод
$\textbf{FutureX}$ призван стать идеальным инструментом для оценки ЛЛМ-агентов в задаче прогнозирования будущих событий. Он характеризуется реальной-временной автоматизированной системой сбора вопросов и ответов, устраняющей возможность загрязнения данных. Бенчмарк включает 25 моделей ЛЛМ, охватывающих разнообразные архитектуры, включая модели с рациональным подходом, модели с возможностью поиска информации, и модели, интегрирующие внешние инструменты, такие как Deep Research Agent и другие закрытые модели. Это позволяет провести широкий анализ показателей устойчивости, рациональности и устойчивости ЛЛМ-агентов в адаптивных средах.
#### Результаты
В рамках бенчмарка FutureX экспериментально оценены 25 моделей ЛЛМ, включая основные лидеры в области ИИ. Были проведены целенаправленные эксперименты, оценивающие устойчивость моделей к внешним факторам, в том числе избеганию попадания в фейковые источники информации, а также стабильности в течение времени. Анализ результатов показал, что ЛЛМ-агенты часто сталкиваются с проблемами во временных проявлениях и несовершенством интеграции внешних систем. Однако FutureX предоставил возможность заметно улучшить понимание этих проблем.
#### Значимость
FutureX является первым в мире динамическим бенчмарком, который может использоваться в широком спектре приложений, начиная с финансовых прогнозов и заканчивая прогнозами в сфере экономики и политологии. Он обеспечивает чистоту данных, систематичность в оценке, и способствует развитию новых моделей ЛЛМ, способных выполнять задачи прогнозирования на уровне профессиональных человеко-аналитиков. Будущие ра
Abstract
Future prediction is a complex task for LLM agents, requiring a high level of
analytical thinking, information gathering, contextual understanding, and
decision-making under uncertainty. Agents must not only gather and interpret
vast amounts of dynamic information but also integrate diverse data sources,
weigh uncertainties, and adapt predictions based on emerging trends, just as
human experts do in fields like politics, economics, and finance. Despite its
importance, no large-scale benchmark exists for evaluating agents on future
prediction, largely due to challenges in handling real-time updates and
retrieving timely, accurate answers. To address this, we introduce
$\textbf{FutureX}$, a dynamic and live evaluation benchmark specifically
designed for LLM agents performing future prediction tasks. FutureX is the
largest and most diverse live benchmark for future prediction, supporting
real-time daily updates and eliminating data contamination through an automated
pipeline for question gathering and answer collection. We evaluate 25 LLM/agent
models, including those with reasoning, search capabilities, and integration of
external tools such as the open-source Deep Research Agent and closed-source
Deep Research models. This comprehensive evaluation assesses agents' adaptive
reasoning and performance in dynamic environments. Additionally, we provide
in-depth analyses of agents' failure modes and performance pitfalls in
future-oriented tasks, including the vulnerability to fake web pages and the
temporal validity. Our goal is to establish a dynamic, contamination-free
evaluation standard that drives the development of LLM agents capable of
performing at the level of professional human analysts in complex reasoning and
predictive thinking.
Ссылки и действия
Дополнительные ресурсы: