FutureX: An Advanced Live Benchmark for LLM Agents in Future Prediction

## Контекст Future prediction является одной из самых сложных задач для люминных логических моделей (LLM). Она требует сложной аналитической работы, сбора информации, контекстуального понимания и принятия решений в условиях неопределенности. Агенты должны собирать и интерпретировать большие объемы динамической информации, объединять различные источники данных, взвешивать неопределенности и адаптировать свои предсказания по мере возникновения новых трендов. Эта задача похожа на задачи, с которыми сталкиваются человеческие эксперты в политике, экономике и финансах. Несмотря на важность этой области, ни одна большая оценочная платформа не была ранее создана для оценки моделей LLMs в этом контексте. Это связано с трудностями, связанными с обработкой реального времени и получением точных ответов. Мы предлагаем **FutureX**, динамичную и живую оценочную платформу для оценки моделей LLMs в процессе предсказания будущего. ## Метод FutureX является крупнейшей и разнообразной платформой для live evaluation моделей LLMs в задачах предсказания будущего. Она обновляется ежедневно в реальном времени и использует автоматизированный процесс для сбора вопросов и ответов, чтобы избежать загрязнения данных. FutureX предоставляет вызовы, которые требуют не только логического развития, но и умения собирать информацию из разных источников, адаптироваться к изменениям и делать предсказания в условиях неопределенности. Она также позволяет измерить выполнение таких задач, как контекстуальное понимание, вывод судьбы и выбор лучших решений в условиях неполной информации. FutureX используется для оценки 25 моделей LLMs, включая модели с разумным логическим анализом, модели с поисковыми возможностями и модели, интегрирующие внешние инструменты, такие как Deep Research Agent и закрытые модели Deep Research. ## Результаты Мы провели эксперименты, используя FutureX для оценки 25 моделей LLMs, включая модели с разумным анализом, модели с возможностями поиска и модели с интеграцией внешних инструментов. Мы измерили их производительность в задачах, требующих динамического взаимодействия и адаптации. Отчет о результатах включает в себя полные анализы удачных решений и неудачных моментов, в том числе уязвимость моделей к поддельным веб-страницам и временной ненадежности. Мы также анализируем, насколько модели могут адаптироваться к изменяющимся условиям и насколько точными являются их предсказания. Эти результаты дают понимание того, как модели LLMs справляются с задачами предсказания в сложных реальных условиях. ## Значимость FutureX предлагает новый стандарт для live evaluation моделей LLMs в процессе предсказания будущего. Он позволяет разра