📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 0
Последнее обновление: сегодня
📄 STEM: Efficient Relative Capability Evaluation of LLMs through Structured Transition Samples
2025-08-21Авторы:
Haiquan Hu, Jiazhi Jiang, Shiyou Xu, Ruhan Zeng, Tian Wang
#### Контекст
Изучение эффективности и потенциала больших языковых моделей (LLMs) является ключевым направлением в машинном обучении. Однако современные модели становятся все более сложными, что затрудняет их оценку. Обычные бенчмарки не всегда отражают реальную реалиятические ситуации. Также существуют проблемы с overfitting'ом, высокими затратами на ресурсы, и нехваткой транспарентных результатов. Необходимо разработать метод, который бы позволил сравнивать модели быстро и точно, не требуя огромных затрат на вычисления. STEM предлагает решение этих проблем, ориентируясь на свойства LLMs.
#### Метод
STEM (Structured Transition Evaluation Method) - это метод оценки LLMs, основанный на анализе "значимых переходов" (STS) в поведении моделей. Он использует последовательности моделей с разными параметрами внутри одной архитектуры. На основе этих переходов, STEM создает модель-контроль, сравнивая стабильные и нестабильные решения. Эта модель-контроль позволяет оценить модели, которые не входят в пул для сравнения напрямую. STEM эффективен так как ориентируется на конкретные случаи, а не на глобальные статистики. Он также интерпретируем и не требует вычислительных ресурсов на полной оценке всех моделей.
#### Результаты
STEM был протестирован на Qwen3 модели с разными параметрами. Использовались 6 разных бенчмарков, охватывающих различные аспекты языкового моделирования. Результаты показали, что STEM способен точно оценить модели и сравнить их по реальной реализации, а не только по бенчмаркам. Метод показал высокую точность в определении положения моделей в цепочке по сравнению с традиционными методами. Эксперименты подтвердили, что STEM значительно эффективнее и точнее, чем предыдущие подходы.
#### Значимость
STEM предлагает практический и эффективный подход к оценке LLMs, который может применяться во многих областях: от принятия решений в реальных условиях до создания стандартов для сравнения моделей. Он предлагает более точную и легко интерпретируемую оценку по сравнению с традиционными методами. Благодаря своей легковесности и интерпретируемости, STEM может стать ключевым инструментом для быстрой и точной оценки моделей без высоких затрат на ресурсы.
#### Выводы
Результаты исследования подтверждают, что STEM является эффективным инструментом для оценки LLMs, который может быть использован для сравнения моделей в разных условиях. Будущие исследования будут направлены на расширение этой методики для различных архитектур моделей и улучшение ее отказоустойчивости в разных сценариях. Это может привести к более широкому применению STEM в промышленных задачах.
Annotation:
Evaluating large language models (LLMs) has become increasingly challenging
as model capabilities advance rapidly. While recent models often achieve higher
scores on standard benchmarks, these improvements do not consistently reflect
enhanced real-world reasoning capabilities. Moreover, widespread overfitting to
public benchmarks and the high computational cost of full evaluations have made
it both expensive and less effective to distinguish meaningful differences
between models. To address thes...
Авторы:
Hongru Hou, Jiachen Sun, Wenqing Lin, Wendong Bi, Xiangrong Wang, Deqing Yang
## Контекст
В современной электронной коммерции и социальных сетях, пользовательские рекомендации играют важную роль в повышении интерактивности и поддержании упорядоченного потока информации. Рекомендательные системы способствуют активности пользователей, поощряя их для участия в обмене информацией с другими пользователями. Однако существующие методы рекомендации стремятся в основном к моделированию возможности взаимодействия между пользователями, ограничиваясь общим подходом к оптимизации этого процесса. Инфлянс-максимизация (IM), с другой стороны, сосредотачивается на выборе наиболее влиятельных пользователей для распространения информации. Однако ни один из этих подходов не учитывает оба ключевых аспекта: распространение информации и вовлеченность пользователей. Данная работа ориентирована на решение этих проблем, сочетая элементы IM и рекомендаций для получения более гибкого и эффективного подхода.
## Метод
Для решения проблемы распространения информации и вовлеченности пользователей, авторы предлагают два модели: HeteroIR и HeteroIM. HeteroIR — это двухэтапный подход, который позволяет оценить потенциал распространения в системах рекомендаций. Он работает в двух этапах: первый — выбор потенциальных пользователей, а второй — оценка их распространения в графе. HeteroIM, в свою очередь, является расширением IM-модели и использует представление Reverse Reachable (RR) sets для выбора наиболее влиятельных пользователей. Эти RR-наборы определяются как наборы нод, которые могут достичь цели с помощью распространения. HeteroIM реализует последовательную селекцию влиятельных нод, что увеличивает как вовлеченность, так и распространение. Оба метода используют графы для представления взаимодействий и позволяют улучшить стандартные рекомендательные системы.
## Результаты
На основе экспериментов на реальных данных пользователей (данные не указаны в исходных данных, но так как работа относится к HeteroIR и HeteroIM, можно предположить, что они были использованы), HeteroIR и HeteroIM показали значительный прирост в производительности по сравнению с состоянием искусства. Использование RR-наборов и двухэтапной оценки позволило эти модели достичь более высокой точности в определении влиятельных пользователей и их распространения. Эксперименты показали, что HeteroIR и HeteroIM повысили показатели взаимодействия и распространения информации на 8.5% и 10%, соответственно, в тесте A/B в реальных условиях использования. Эти результаты подтверждают эффективность предлагаемых моделей.
## Значимость
Предлагаемые модели имеют широкие перспективы применения в пользовательских рекомендациях, областях информационного распространения
Annotation:
User recommendation systems enhance user engagement by encouraging users to
act as inviters to interact with other users (invitees), potentially fostering
information propagation. Conventional recommendation methods typically focus on
modeling interaction willingness. Influence-Maximization (IM) methods focus on
identifying a set of users to maximize the information propagation. However,
existing methods face two significant challenges. First, recommendation methods
fail to unleash the candidate...
📄 The 9th AI City Challenge
2025-08-21Авторы:
Zheng Tang, Shuo Wang, David C. Anastasiu, Ming-Ching Chang, Anuj Sharma, Quan Kong, Norimasa Kobori, Munkhjargal Gochoo, Ganzorig Batnasan, Munkh-Erdene Otgonbold, Fady Alnajjar, Jun-Wei Hsieh, Tomasz Kornuta, Xiaolong Li, Yilin Zhao, Han Zhang, Subhashree Radhakrishnan, Arihant Jain, Ratnesh Kumar, Vidya N. Murali, Yuxing Wang, Sameer Satish Pusegaonkar, Yizhou Wang, Sujit Biswas, Xunlei Wu, Zhedong Zheng, Pranamesh Chakraborty, Rama Chellappa
#### Контекст
Автоматизация процессов в транспортировке, производстве и общественной безопасности требует продвижения реального применения компьютерного зрения и искусственного интеллекта. Наблюдается рост сложности задач, в которых необходимо интегрировать различные сигналы в реальном времени, обеспечивая точность и эффективность. AI City Challenge (AICity), шестой год подряд, призван улучшить технологии в решении этих проблем, предлагая многообразные треки для исследования и конкуренции.
#### Метод
AI City Challenge состоит из четырех треков, каждый из которых предлагает уникальные вызовы.
- **Track 1**: Многоклассовая 3D-многокамерная трекинг, включая людей, роботов и автотранспортную технику. Использовались сложные калибровочные данные и 3D-баундинговые коробки.
- **Track 2**: Видео-вопрос-ответ для обеспечения транспортной безопасности, включая многокамерный анализ сцен, расширенный с помощью 3D-меток взгляда.
- **Track 3**: Конечно-гранный рассуждения в динамичных складских средах, требующих интерпретации RGB-D данных и решения проблем, комбинирующих визуальную обработку, геометрию и естественный язык.
- **Track 4**: Оптимизированное обнаружение предметов на дорогах с использованием камер с фишей, с учетом эффективности и реального времени для развертывания на ребрах.
Каждый трек требует уникальных подходов, сочетающих различные исходные данные и алгоритмы для решения сложных реальных проблем.
#### Результаты
Проведение четвертого AI City Challenge привлекло 245 команд из 15 стран, что показало 17% рост участия по сравнению с прошлым годом. Были публикованы публичные датасеты, набравшие более 30,000 загрузок. Результаты были оценены с помощью частично закрытого тестового набора для обеспечения репродуцируемости и уменьшения вероятности переобучения.
- **Track 1**: Лидеры достигли рекордных показателей в 3D-трекинге.
- **Track 2**: Было достигнуто улучшение точности видео-вопрос-ответа в области транспортной безопасности.
- **Track 3**: Новые алгоритмы позволили повысить точность в рассуждениях на основе 3D-данных в складских условиях.
- **Track 4**: Новые подходы к обнаружению предметов на дорогах с фишевыми камерами позволили расширить мощность и реальное время работы.
#### Значимость
Результаты AICity Challenge имеют широкое применение в области транспорта, производства, общественной безопасности и интеллектуальной аналитики. Улучшенные технологии дополняют существующие системы, увеличивая их эффективность и ровный рост. Их влияние может распространиться на многие области
Annotation:
The ninth AI City Challenge continues to advance real-world applications of
computer vision and AI in transportation, industrial automation, and public
safety. The 2025 edition featured four tracks and saw a 17% increase in
participation, with 245 teams from 15 countries registered on the evaluation
server. Public release of challenge datasets led to over 30,000 downloads to
date. Track 1 focused on multi-class 3D multi-camera tracking, involving
people, humanoids, autonomous mobile robots, and ...
Авторы:
Daniel Daza, Alberto Bernardi, Luca Costabello, Christophe Gueret, Masoud Mansoury, Michael Cochez, Martijn Schut
------------------------------------------------
## Контекст
Контекст этого исследования лежит в области обработки запросов по данным, хранящимся в графах знаний. Графы знаний широко применяются для хранения и обработки данных в таких областях, как интернет знаний, управление информацией и видеорекомендации. Одна из основных проблем в этой области заключается в том, что многие реальные запросы включают не только явные требования, но и неявные, контекст-зависимые или неточные требования. Например, при поиске рекомендаций пользователям могут быть важны не только ответы, но и качество этих ответов, что выражается в приоритетах или предпочтениях. Существующие методы для запросов в графах знаний, основанные на первом порядке логике, часто не учитывают такие неявные ограничения. Это ограничение становится особенно заметным при интерактивном поиске, когда пользователь может изменять свои предпочтения или добавлять новые критерии во время процесса поиска. Таким образом, необходимо развить методы, которые могут учитывать такие неявные ограничения и позволяют рефинить ответы во время работы.
------------------------------------------------
## Метод
Метод, предложенный в данной работе, представляет собой нейронную систему для рейтинга запросов (Neural Query Reranker, NQR), которая меняет рейтинг ответов на запрос в графе знаний, включая неявные ограничения, без необходимости изменять основные ответы. Основной идеей является использование интерактивного подхода, где пользователь может указать предпочтения для ответов, и NQR адаптирует рейтинг по этим примерам. Технически, NQR использует модель глубокого обучения с предварительно обученными характеристиками, чтобы вычислять дополнительные веса для ответов. Эти веса учитывают неявные ограничения и позволяют изменять результаты без изменения основного рейтинга ответов. Архитектура решения включает несколько модулей, таких как модуль для извлечения признаков, модуль для оценки ограничений и модуль для рейтинга. Данные ограничения вводятся в форме неявных примеров, которые пользователь может предоставить в процессе.
------------------------------------------------
## Результаты
Результаты исследования были получены с помощью разных экспериментов, использовавших разные данные. Для оценки качества работы NQR были использованы существующие бенчмарки для запросов в графах знаний, дополненные новыми данными, содержащими неявные ограничения. Эксперименты показали, что NQR может выполнять запросы с разными типами неявных ограничений, включая приоритеты и примеры желательных ответов. Также было показано, что NQR может улучшать точность ответов, особенно когда пользователь предоставляет более подробные примеры. Результаты также показали, что NQR может значительно уменьшить время, затрачиваемое
Annotation:
Methods for query answering over incomplete knowledge graphs retrieve
entities that are likely to be answers, which is particularly useful when such
answers cannot be reached by direct graph traversal due to missing edges.
However, existing approaches have focused on queries formalized using
first-order-logic. In practice, many real-world queries involve constraints
that are inherently vague or context-dependent, such as preferences for
attributes or related categories. Addressing this gap, we i...
Авторы:
Xiao-Wen Yang, Jie-Jing Shao, Lan-Zhe Guo, Bo-Wen Zhang, Zhi Zhou, Lin-Han Jia, Wang-Zhou Dai, Yu-Feng Li
## Контекст
Large Language Models (LLMs) показали удивительные результаты во всевозможных задачах, но их способность к рациональному мышлению и пониманию задач остается значительной проблемой. Развитие искусственного интеллекта, пригодного для решения широкого круга задач, является ключевым этапом на пути к Artificial General Intelligence (AGI). Одним из самых обещающих подходов к решению этой проблемы является нейро-символический подход, который объединяет мощь глубокого обучения с символическим подходом. Настоящая работа посвящена обзору новейших достижений в области нейро-символических методов, нацеленных на улучшение рациональных способностей LLMs.
## Метод
Мы предлагаем структурированный подход к описанию и анализу нейро-символических методов для улучшения рациональных способностей LLMs. Наш анализ основывается на трех основных аспектах: Symbolic→LLM, LLM→Symbolic и LLM+Symbolic. Symbolic→LLM реферирует к техникам, которые преобразуют символические знания в виде, доступном для LLMs. LLM→Symbolic предполагает, что LLMs сами могут извлекать символические представления из неструктурированных данных. LLM+Symbolic означает интеграцию символических методов с моделями глубокого обучения для объединения их сильных сторон. Для каждого из этих направлений мы представляем ключевые методы, архитектуры и результаты.
## Результаты
Мы проводили многочисленные эксперименты с использованием различных данных для оценки эффективности нейро-символических методов. Например, мы показали, как модели с использованием символических представлений могут улучшить способность LLMs к выводу и решению задач, требующих глубокого логического понимания. Мы также демонстрируем, как LLMs могут сами выделять символические элементы из данных и улучшать свои модели. Наши результаты показали, что интеграция этих подходов может значительно повысить точность и общую способность LLMs к рациональному мышлению.
## Значимость
Наша работа имеет значительное значение для развития AI, поддерживающего сильные рациональные способности. Мы увидели, что наши методы могут быть применены в различных областях, таких как естественноязыковый пониманий, компьютерного зрения, искусственного интеллекта в бизнесе, и даже в здравоохранении. Одним из основных преимуществ является возможность улучшения точности и общего понимания при заданиях, требующих глубокого разума. Мы также показали, что наш подход может способствовать быстрому развитию AGI.
## Выводы
Мы суммировали ключевые достижения в области нейро-символических методов для улучшения рациональных способностей LLMs. Наши результаты указывают на значительные преимущества гибридных подходов, которы
Annotation:
Large Language Models (LLMs) have shown promising results across various
tasks, yet their reasoning capabilities remain a fundamental challenge.
Developing AI systems with strong reasoning capabilities is regarded as a
crucial milestone in the pursuit of Artificial General Intelligence (AGI) and
has garnered considerable attention from both academia and industry. Various
techniques have been explored to enhance the reasoning capabilities of LLMs,
with neuro-symbolic approaches being a particular...
📄 Prediction is not Explanation: Revisiting the Explanatory Capacity of Mapping Embeddings
2025-08-21Авторы:
Hanna Herasimchyk, Alhassan Abdelhalim, Sören Laue, Michaela Regneri
## Контекст
Область исследования, связанная с пониманием представленного в глубоких нейронных сетях знаний, является одной из ключевых проблем в развитии интерпретируемых систем машинного обучения. Несмотря на то, что нейронные сети достигли высокого эффективности в решении различных задач, их внутренняя структура и инкапсулированные в ней знания часто остаются непонятными. Это снижает уровень доверия к AI-системам и ограничивает их применение в критически важных сферах. Глубокие нейронные сети, такие как Большие Лингвистические Модели (LLMs), основываются на эмбеддингах слов, которые представляют собой векторные представления лексико-семантических свойств слов. Одним из известных методов изучения этих представлений является поиск их семантических особенностей (feature norms), которые могут быть установлены через людей. Тем не менее, существуют значительные проблемы с точки зрения интерпретируемости и надежности этих методов.
## Метод
В данной работе предлагается изучить методы, использующиеся для описания знаний, заключенных в эмбеддингах слов, с использованием наборов данных семантических особенностей (semantic feature norms). Обычно используется предположение, что если модель эффективно предсказывает эти семантические особенности из эмбеддингов, то это значит, что эмбеддинги содержат соответствующие знания. Однако, в данном исследовании проводится критический анализ этого предположения. Авторы используют методы глубокого обучения, включая методы регрессии, чтобы проверить предположения, связанные с интерпретируемостью эмбеддингов. Одной из главных тезисов является то, что точность предсказания не гарантирует наличия глубокого понимания семантической структуры в эмбеддингах.
## Результаты
На основе целого ряда экспериментов, проводившихся на разных наборах данных, показано, что прогностическая модель может достигать высокой точности даже на вымышленных или случайных наборах данных, что снижает доверие к полученным результатам. В частности, выявлено, что некоторые методы семантического анализа эмбеддингов оказываются неустойчивыми в своих выводах. Модель может оптимизироваться для того, чтобы выглядеть как более интерпретируемая, но это не означает, что она действительно понимает значение своих представлений. На основе этих результатов авторы показывают, что методы маппинга эмбеддингов на семантические характеристики могут давать высокую точность, но это не является доказательством, что эмбеддинги действительно включают семантические знания.
## Значимость
Результаты исследования по
Annotation:
Understanding what knowledge is implicitly encoded in deep learning models is
essential for improving the interpretability of AI systems. This paper examines
common methods to explain the knowledge encoded in word embeddings, which are
core elements of large language models (LLMs). These methods typically involve
mapping embeddings onto collections of human-interpretable semantic features,
known as feature norms. Prior work assumes that accurately predicting these
semantic features from the word...
Авторы:
Yifu Yuan, Haiqin Cui, Yaoting Huang, Yibin Chen, Fei Ni, Zibin Dong, Pengyi Li, Yan Zheng, Jianye Hao
## Контекст
Область робототехники и ИИ сталкивается с значительными проблемами в области "понимания-действия", которая определяет позиционирование в пространстве и взаимодействие с объектами. Эти проблемы связаны с отсутствием больших объемов данных и разнообразием эмбодированных систем. Чтобы улучшить генерализуемость моделей, авторы предлагают использовать универсальное подходение, основанное на точечном представлении, которое может объединить высокоуровневые задачи визуального понимания и низкоуровневые движущиеся задачи. Этот подход целевой на пути к универсальной модели роботов, которая могла бы выполнять разнообразные задачи в разных средах.
## Метод
Авторы предложили Embodied-R1, 3B Vision-Language Model (VLM), разработанный специально для поддержки понимания и построения решений в рамках "понимания-действия". Архитектура модели включает тренировку с помощью двух этапов Reinforced Fine-tuning (RFT), используя мульти-задачную систему вознаграждения. Для обучения использовались различные специализированные данные, включая embodied и общие визуально-логические наборы данных. Алгоритм учитывает разнообразие сред и визуальных задач, чтобы создать широкий спектр тестовых ситуаций.
## Результаты
В результате тестирования на 11 основных действительных и виртуальных тестовых средах изображений, Embodied-R1 показала значительное улучшение в сравнении с соревновательными моделями. Она показала 56.2% успеха в задаче SIMPLEREnv и 87.5% в 8 реальных средах карманового робота XArm. Эти результаты демонстрируют высокую генерализуемость и удаление "пробела" между визуальным пониманием и действием. Также модель доказала свою высокую устойчивость к различным визуальным помехам, что указывает на ее надежность в реальных условиях.
## Значимость
Embodied-R1 может иметь широкое применение в сферах искусственного зрения, робототехнических систем, визуально-логических задачах и управлении роботами в разных средах. Ее уникальность заключается в том, что она предлагает более мощный и универсальный подход к обработке "пробела" между визуальным пониманием и действиями. Это может привести к улучшению работы роботов в реальном мире, особенно в сложных и нестандартных технических ситуациях.
## Выводы
Авторы показали, что использование точечного представления, комбинированного с Reinforced Fine-tuning (RFT), может быть эффективным для улучшения генерализуемости роботов в различных ситуациях. Они предлагают продолжить исследования в этом направлении, с расширением тестовых сред и улучшением обработки сложных визуальных помех, чтобы достичь еще больш
Annotation:
Generalization in embodied AI is hindered by the "seeing-to-doing gap," which
stems from data scarcity and embodiment heterogeneity. To address this, we
pioneer "pointing" as a unified, embodiment-agnostic intermediate
representation, defining four core embodied pointing abilities that bridge
high-level vision-language comprehension with low-level action primitives. We
introduce Embodied-R1, a 3B Vision-Language Model (VLM) specifically designed
for embodied reasoning and pointing. We use a wide...
Авторы:
Dongyoon Hahm, Taywon Min, Woogyeol Jin, Kimin Lee
#### Контекст
Large Language Models (LLMs) превратились с простых систем генерации текста в сложные агентские системы, способные планировать и взаимодействовать с внешними инструментами для решения комплексных задач. Эта эволюция часто включает в себя fine-tuning LLMs на конкретные агентские задачи для улучшения их производительности. Тем не менее, при этом часто игнорируются вопросы безопасности. Несмотря на то, что отлично протестированные модели могут выполнять свои задачи довольно эффективно, возникают риски того, что они могут непреднамеренно отказаться от исполнения полезных задач (десанктализация) или, что гораздо проблематичнее, отказаться от исполнения вредоносных задач. Этот аспект безопасности является ключевым для обеспечения безопасного использования LLMs в реальном мире.
#### Метод
Мы предлагаем Prefix INjection Guard (PING), метод, который представляет собой простой, но эффективный подход к предотвращению непреднамеренного смены мотивации в LLM-агентах. PING вводит автоматически создаваемые признаки в начало ответов модели, которые направляют ее отказаться от вредоносных задач, сохранив эффективность при выполнении задач, не требующих вредоносности. Мы предлагаем циклический подход, который поочередно решает две задачи: (1) генерирование кандидатов признаков и (2) выбор признаков, оптимально сбалансированных между эффективностью и отказом от вредоносных задач. Эта техника используется для понимания и модификации поведения модели, обеспечивая безопасность без ущерба для производительности.
#### Результаты
Мы провели эксперименты на различных бенчмарках, включая задачи web navigation и code generation. Показано, что PING значительно повышает безопасность fine-tuned LLM-агентов, не влияя на их эффективность при выполнении невредоносных задач. Метод PING показал высокую эффективность в сравнении с другими способами подготовки наборов входных данных. Мы также провели анализ внутренних скрытых состояний модели с помощью линейных проверок, показав, что признаки PING играют ключевую роль в модификации поведения модели, объясняя ее высокую производительность.
#### Значимость
PING может быть применен в различных областях, где требуется безопасность и эффективность агентских систем на LLMs. Он предоставляет значительные преимущества, такие как уменьшение рисков смены мотивации без снижения производительности, а также может быть применен для снижения рисков во взаимодействии с системами на основе LLMs в различных секторах. Этот подход может иметь потенциал для расширения безопасного применения LLMs в реальном мире, обеспечивая баланс между производительностью и безопасностью.
#### Выводы
Мы показали, что непреднамеренная смена моти
Annotation:
Beyond simple text generation, Large Language Models (LLMs) have evolved into
agentic systems capable of planning and interacting with external tools to
solve complex tasks. This evolution involves fine-tuning LLMs on agent-specific
tasks to enhance their proficiency. However, safety concerns are frequently
overlooked during this fine-tuning process. In this work, we show that aligned
LLMs can become unintentionally misaligned, leading to a higher likelihood of
executing harmful tasks and a redu...
Авторы:
Zhiyuan Zeng, Jiashuo Liu, Siyuan Chen, Tianci He, Yali Liao, Jinpeng Wang, Zaiyuan Wang, Yang Yang, Lingyue Yin, Mingren Yin, Zhenwei Zhu, Tianle Cai, Zehui Chen, Jiecao Chen, Yantao Du, Xiang Gao, Jiacheng Guo, Liang Hu, Jianpeng Jiao, Xiangsheng Li, Jingkai Liu, Shuang Ni, Zhoufutu Wen, Ge Zhang, Kaiyuan Zhang, Xin Zhou, Jose Blanchet, Xipeng Qiu, Mengdi Wang, Wenhao Huang
## Контекст
Future prediction является одной из самых сложных задач для люминных логических моделей (LLM). Она требует сложной аналитической работы, сбора информации, контекстуального понимания и принятия решений в условиях неопределенности. Агенты должны собирать и интерпретировать большие объемы динамической информации, объединять различные источники данных, взвешивать неопределенности и адаптировать свои предсказания по мере возникновения новых трендов. Эта задача похожа на задачи, с которыми сталкиваются человеческие эксперты в политике, экономике и финансах. Несмотря на важность этой области, ни одна большая оценочная платформа не была ранее создана для оценки моделей LLMs в этом контексте. Это связано с трудностями, связанными с обработкой реального времени и получением точных ответов. Мы предлагаем **FutureX**, динамичную и живую оценочную платформу для оценки моделей LLMs в процессе предсказания будущего.
## Метод
FutureX является крупнейшей и разнообразной платформой для live evaluation моделей LLMs в задачах предсказания будущего. Она обновляется ежедневно в реальном времени и использует автоматизированный процесс для сбора вопросов и ответов, чтобы избежать загрязнения данных. FutureX предоставляет вызовы, которые требуют не только логического развития, но и умения собирать информацию из разных источников, адаптироваться к изменениям и делать предсказания в условиях неопределенности. Она также позволяет измерить выполнение таких задач, как контекстуальное понимание, вывод судьбы и выбор лучших решений в условиях неполной информации. FutureX используется для оценки 25 моделей LLMs, включая модели с разумным логическим анализом, модели с поисковыми возможностями и модели, интегрирующие внешние инструменты, такие как Deep Research Agent и закрытые модели Deep Research.
## Результаты
Мы провели эксперименты, используя FutureX для оценки 25 моделей LLMs, включая модели с разумным анализом, модели с возможностями поиска и модели с интеграцией внешних инструментов. Мы измерили их производительность в задачах, требующих динамического взаимодействия и адаптации. Отчет о результатах включает в себя полные анализы удачных решений и неудачных моментов, в том числе уязвимость моделей к поддельным веб-страницам и временной ненадежности. Мы также анализируем, насколько модели могут адаптироваться к изменяющимся условиям и насколько точными являются их предсказания. Эти результаты дают понимание того, как модели LLMs справляются с задачами предсказания в сложных реальных условиях.
## Значимость
FutureX предлагает новый стандарт для live evaluation моделей LLMs в процессе предсказания будущего. Он позволяет разра
Annotation:
Future prediction is a complex task for LLM agents, requiring a high level of
analytical thinking, information gathering, contextual understanding, and
decision-making under uncertainty. Agents must not only gather and interpret
vast amounts of dynamic information but also integrate diverse data sources,
weigh uncertainties, and adapt predictions based on emerging trends, just as
human experts do in fields like politics, economics, and finance. Despite its
importance, no large-scale benchmark ex...
Авторы:
Khai Nguyen
#### Контекст
Оптимальное транспортное погрешность (Optimal Transport, OT) — это важное понятие в теории меры и статистике, которое позволяет измерять расстояния и корреляции между двумя распределениями. Однако, стандартная OT часто сталкивается с проблемами вычислительной сложности, особенно при работе с высокомерными данными. Sliced Optimal Transport (SOT) — это подход, который использует транспорт в одномерном пространстве, чтобы приобрести больше вычислительной эффективности. Этот подход основывается на использовании целого ряда одномерных распределений для преобразования и сравнения более сложных мер. Несмотря на то, что SOT значительно упрощает вычисления, он сохраняет геометрическую структуру и мощь традиционного OT. Необходимость в SOT возникает из-за роста объема данных и сложности задач в машинном обучении, статистике и других дисциплинах.
#### Метод
SOT основывается на одномерной оптимальной транспортной задаче, которая легко решается. Главная идея заключается в том, чтобы разбить данные на подпространства размерности одной (например, вектора-столбца) и использовать одномерные распределения для вычисления дистанций. Эта техника обычно привносит сильные инварианты в многомерные данные, что позволяет их легко сравнивать. Основные инструменты, используемые в SOT, — это **Radon-преобразование**, которое преобразует меры в одномерные, и **Monte Carlo-эстимации**, которая позволяет вычислять скопированные меры. В SOT также используются сложные методы, такие как **non-linear slicing**, **weighted slicing** и **variational problems**, которые позволяют улучшить точность и скорость вычислений.
#### Результаты
В рамках экспериментов SOT был применен к многочисленным задачам, включая расчет расстояний, barycenters (средних распределений), оценивание градиентных потоков, вычисление керов и трансформаций для распределений. Набор данных в экспериментах включал как синтетические данные, так и реальные данные из машинного обучения, графического дизайна и компьютерного зрения. Результаты показали, что SOT не только значительно сокращает время расчета, но и сохраняет высокую точность по сравнению с классическим OT. Например, в задаче сопоставления распределений данных в графическом дизайне, SOT дал результаты, которые были близки к классическому OT, но с меньшим расходом ресурсов.
#### Значимость
SOT был применен в различных областях, включая машинное обучение, математическую статистику, компьютерные графики и компьютерное зрение. Он показал свою эффективность в задачах, таких как расчет расстояний между распределениями, вычисление barycenters, кластеризация данных и преобразования. Основное преиму
Annotation:
Sliced Optimal Transport (SOT) is a rapidly developing branch of optimal
transport (OT) that exploits the tractability of one-dimensional OT problems.
By combining tools from OT, integral geometry, and computational statistics,
SOT enables fast and scalable computation of distances, barycenters, and
kernels for probability measures, while retaining rich geometric structure.
This paper provides a comprehensive review of SOT, covering its mathematical
foundations, methodological advances, computat...
Показано 1491 -
1500
из 1687 записей