📊 Статистика дайджестов

Всего дайджестов: 34022 Добавлено сегодня: 82

Последнее обновление: сегодня
Авторы:

Vebjørn Haug Kåsene, Pierre Lison

**Резюме** В данной работе исследуется возможность использования больших моделей языка и визуального восприятия (LVLMs) для решения задачи Vision-and-Language Navigation (VLN), требующей позволить автономным роботам следовать естественным языковым инструкциям в незнакомых пространствах. Хотя ранее для VLN разрабатывались специализированные модели, авторы исследуют возможность применения безразмерных LVLMs (например, Qwen2.5-VL-3B-Instruct), причем независимо от их оптимизации для VLN. Также изучается возможность использования таких моделей в различных парадигмах действий: низкоуровневых (с эгоцентричным просмотром) и панорамных (с выбором из панорамных точек). На датасете Room-to-Room (R2R) проведена сравнительная оценка эффективности этих моделей. Основные выводы: LVLMs могут выполнять VLN, но до сих пор не достигают уровня специализированных моделей, а наилучшая модель показывает 41% успеха на тестовом наборе.
Annotation:
Vision-and-Language Navigation (VLN) refers to the task of enabling autonomous robots to navigate unfamiliar environments by following natural language instructions. While recent Large Vision-Language Models (LVLMs) have shown promise in this task, most current VLM systems rely on models specifically designed and optimized for navigation, leaving the potential of off-the-shelf LVLMs underexplored. Furthermore, while older VLN approaches used low-level action spaces with egocentric views and atom...
ID: 2508.02917v1 cs.CV, cs.AI, cs.CL, cs.RO
Авторы:

Boshi Huang, Fabio Nonato de Paula

Огромное повышение популярности Large Language Models (LLMs) подвергло их неожиданному риску — подконтрольным атакам, таким как prompt injection. Эти атаки могут привести к непредсказуемым и, в некоторых случаях, вредоносным поведениям моделей. В настоящей работе предлагается новый подход к защите LLMs, основанный на их собственной самосознательности. Метод включает в себя два модуля: Meta-Cognitive и Arbitration. Эти модули позволяют модели оценивать и контролировать свои выводы, не требуя дополнительных внешних систем классификации. На основе двух высококачественных датасетов — AdvBench и Prompt-Injection-Mixed-Techniques-2024 — были проведены эксперименты с семьями LLMs. Результаты показали, что защитный механизм действителен, включая случаи полной или почти полной защиты в режиме Enhanced. Однако появилась компромиссная ситуация между увеличением успешности защиты и требованиями к вычислительным ресурсам. Это решение предлагает эффективную и стоимостно подходящую модель для усиления этичных защит LLMs, особенно в GenAI-средах.
Annotation:
This paper introduces a novel self-consciousness defense mechanism for Large Language Models (LLMs) to combat prompt injection attacks. Unlike traditional approaches that rely on external classifiers, our method leverages the LLM's inherent reasoning capabilities to perform self-protection. We propose a framework that incorporates Meta-Cognitive and Arbitration Modules, enabling LLMs to evaluate and regulate their own outputs autonomously. Our approach is evaluated on seven state-of-the-art LLMs...
ID: 2508.02961v1 cs.AI, cs.CL, cs.CR
Авторы:

Peng Ding, Rick Stevens

**Резюме** Проблема: Развитие tool-augmented Large Language Models (LLMs) привело к фрагментации экосистемы, требуя от разработчиков умения взаимодействовать с различными протоколами, определять схемы вручную и управлять сложными рабочими процессами. Решение: Мы предлагаем протокол-агностичный подход к интеграции инструментов, абстрагирующийся от протоколов, чтобы оптимизировать выполнение задач. Наше решение включает автоматическое генерирование схем, двойной режим эксплуатации, позволяющий одновременно использовать различные инструменты, и упрощенный менеджмент множества источников. Выводы: Эксперименты показали снижение объема кода при интеграции в 60–80%, увеличение производительности до 3.1 раз благодаря оптимизации конкурентности, и полную совместимость с существующими стандартами функционального вызова. Этот подход обеспечивает эффективные и простой в использовании решения для разработки LLM-приложений.
Annotation:
The proliferation of tool-augmented Large Language Models (LLMs) has created a fragmented ecosystem where developers must navigate multiple protocols, manual schema definitions, and complex execution workflows. We address this challenge by proposing a unified approach to tool integration that abstracts protocol differences while optimizing execution performance. Our solution demonstrates how protocol-agnostic design principles can significantly reduce development overhead through automated schem...
ID: 2508.02979v1 cs.AI, cs.CL, cs.LG
Авторы:

Xinjie Zhao, Moritz Blum, Fan Gao, Yingjian Chen, Boming Yang, Luis Marquez-Carpintero, Mónica Pina-Navarro, Yanran Fu, So Morikawa, Yusuke Iwasawa, Yutaka Matsuo, Chanjun Park, Irene Li

AGENTiGraph представляет собой интерактивную систему, обеспечивающую удобный доступ и управление доменно-специфическими знаниями через знакомый язык. Это решение рассчитано на необходимость неэкспертных пользователей в визуальных инструментах для построения и модификации знаний в форме графов, управляемых в рамках диалогов. Ключевыми особенностями AGENTiGraph являются многократные круглые переговоры, автоматическое обновление и интеграция новых знаний, а также универсальность подхода благодаря встроенным моделям для классификации запросов, планирования и адаптации знаний. В экспериментах на базе бенчмарка из 3500 запросов в сценарии образования, AGENTiGraph демонстрирует высокую точность классификации (95.12%) и успешность выполнения (90.45%), превосходя сильные нулевые-шаги. Решение имеет перспективы для достижения сложности и масштабируемости, например, в юридических и медицинских сферах с применением новых законодательных актов или интерпретаций научных данных.
Annotation:
AGENTiGraph is a user-friendly, agent-driven system that enables intuitive interaction and management of domain-specific data through the manipulation of knowledge graphs in natural language. It gives non-technical users a complete, visual solution to incrementally build and refine their knowledge bases, allowing multi-round dialogues and dynamic updates without specialized query languages. The flexible design of AGENTiGraph, including intent classification, task planning, and automatic knowledg...
ID: 2508.02999v1 cs.AI, cs.CL
Авторы:

Dingwei Zhu, Shihan Dou, Zhiheng Xi, Senjie Jin, Guoqiang Zhang, Jiazheng Zhang, Junjie Ye, Mingxu Chai, Enyu Zhou, Ming Zhang, Caishuang Huang, Yunke Zhang, Yuran Wang, Tao Gui

**Резюме** В текущих Reinforcement Learning from Human Feedback (RLHF) системах значительная проблема заключается в том, что наградная информация часто шумная и неточная, что приводит к проблемам с устойчивостью политики и ее общей работоспособностью. Особенно остро это проявляется при использовании моделей текстовых ответов, где неточности в награде могут привести к неверному принятию решений. В данной работе авторы показывают, что значительная часть этих проблем может быть решена путем улучшения значимости значения (value model). Они предлагают VRPO — новую архитектуру, которая стремится сделать значение модели более устойчивой к шумам с помощью двух основных элементов: (1) аугментации тренировочного процесса с помощью генерации слов и оценки энтропии, (2) использование информационного ограничения вариационного буттлнейка. Эти изменения превращают значение модели из простого предсказателя в активного регулятора шума, что позволяет политике более точно отсеивать мешающие сигналы. Эксперименты показали, что VRPO выдает значительно лучшие результаты по сравнению с PPO и GRPO на задачах математического разума, специальных вопросов и разговорных диалогах. Это подтверждает важность значения модели в RLHF и предлагает эффективный подход для борьбы с шумом в наградах.
Annotation:
Reinforcement Learning from Human Feedback (RLHF) often suffers from noisy or imperfect reward supervision in real-world settings, which undermines policy stability and generalization. Such noise may cause models to lose attention on key words during advantage estimation. While prior work focuses on reward denoising or filtering poor data, it often overlooks the critical role of the value model in policy optimization. In this work, we show that a strong value model is essential for mitigating no...
ID: 2508.03058v1 cs.LG, cs.AI, cs.CL
Авторы:

Zikun Cui, Tianyi Huang, Chia-En Chiang, Cuiqianhe Du

Многоязычные языковые модели (LLMs) становятся важной частью систем, решающих проблему распространения неточной информации. Однако традиционные подходы к детекции неточностей ограничиваются бинарными определениями (точное/неточное), не учитывая глубину и логику верификации. Данная работа предлагает инновационный LLM-агент, реализующий многошаговую верификацию неточностей. Агент использует три основных инструмента: решение поисковых задач, оценку источников достоверности и проверку численных утверждений. Он собирает, проверяет и синтезирует доказательства, обеспечивая полную логическую цепочку вывода. Агент оценивался на высококачественных датасетах, включая FakeNewsNet, и показал превосходство по сравнению с традиционными моделями и LLMs в точности детекции, логической ясности и устойчивости к изменению контента. Результаты демонстрируют перспективность данного подхода для создания надежных, прозрачных и эффективных систем AI-ассистированной факт-чекинг.
Annotation:
With the proliferation of Large Language Models (LLMs), the detection of misinformation has become increasingly important and complex. This research proposes an innovative verifiable misinformation detection LLM agent that goes beyond traditional true/false binary judgments. The agent actively verifies claims through dynamic interaction with diverse web sources, assesses information source credibility, synthesizes evidence, and provides a complete verifiable reasoning process. Our designed agent...
ID: 2508.03092v1 cs.AI, cs.CL
Авторы:

Junyoung Lim, Jaewoo Ahn, Gunhee Kim

Генерирование точных и структурированных подписей для диаграмм остается сложной задачей для визуально-языковых моделей, в основном из-за недостатка больших, высококачественных датасетов реальных диаграмм. Основная проблема в том, что существующие датасеты часто включают лишнюю информацию, которая нельзя вывести из диаграмм, и недостаточно хорошо охватывают структурные элементы и основные выводы. Чтобы решить эту проблему, мы представляем ChartCap — большой датасет из 565К реальных диаграмм, покрывающий широкий спектр типов диаграмм. Наш датасет включает в себя точные, детальные подписи, которые исключают лишнюю информацию и сосредоточены на структуре и ключевых выводах. Чтобы повысить качество, мы разработали 4-х этапную методику с использованием циклической консистентности для проверки гуманными экспертами. Мы также предложили новый метрику — Visual Consistency Score — для оценки качества подписей, сравнивая регенерируемую диаграммой с оригиналом. Наши эксперименты показали, что модели, приточенные на ChartCap, генерируют более точные и информативные подписи с меньшим количеством халлуцинаций, превосходя даже профессионально аннотированные данные.
Annotation:
Generating accurate, informative, and hallucination-free captions for charts remains challenging for vision language models, primarily due to the lack of large-scale, high-quality datasets of real-world charts. However, existing real-world chart datasets suffer from the inclusion of extraneous information that cannot be inferred from the chart and failure to sufficiently capture structural elements and key insights. Therefore, we introduce ChartCap, a large-scale dataset of 565K real-world chart...
ID: 2508.03164v1 cs.CV, cs.AI, cs.CL
Авторы:

Marco Simoni, Aleksandar Fontana, Giulio Rossolini, Andrea Saracino

**Резюме** Политические оптимизации широко используются для тренировки и выравнивания языковых моделей, но имеют существенные ограничения. Метод Group-relative Policy Optimization (GRPO) стал одним из самых эффективных подходов, но страдает двумя главными недостатками. Во-первых, токены часто получают противоречивые награды (положительные и отрицательные), что приводит к нестабильным градиентам и снижению их вероятности. Во-вторых, отрицательные награды могут пенализировать уверенные ответы, приводя к разряжению выходного распределения и ухудшению обучения. Мы предлагаем GTPO (Group-relative Trajectory-based Policy Optimization), который решает эти проблемы. Метод идентифицирует "конфликтные" токены, появляющиеся в завершениях с противоположными наградами, и защищает их от отрицательных обновлений, повышая вероятности положительных. Также GTPO исключает завершения с высоким энтропийным неопределенностью. Благодаря этому GTPO обеспечивает более устойчивое и эффективное обучение, не прибегая к регуляризации KL-дивергенции или ссылочной модели, что подтверждено результатами на GSM8K, MATH и AIME 2024.
Annotation:
Policy-based optimizations are widely adopted today for the training and alignment of language models, where one of the most recent and effective approaches is Group-relative Policy Optimization (GRPO). In this paper, we reveals and analyze two major limitations of GRPO: (i) tokens frequently appear in completions with both positive and negative rewards, leading to conflicting gradient updates that can reduce their output probability, even though can be essential for maintaining proper structure...
ID: 2508.03772v1 cs.LG, cs.AI, cs.CL
Авторы:

Kisu Yang, Yoonna Jang, Hwanseok Jang, Kenneth Choi, Isabelle Augenstein, Heuiseok Lim

В статье предлагается Reliable Evaluation Protocol for Low-Precision Retrieval, решающий проблему нестабильности оценочных метрик при использовании низкой числовой точности в системах восстановления информации. Уменьшение точности позволяет эффективно использовать ресурсы, но приводит к связыванию элементов с одинаковым скором, что нарушает надежность оценки. Решением является двухэтапный подход: High-Precision Scoring (HPS), который задействует высокую точность только на этапе подсчета релевантности, и Tie-aware Retention Metrics (TRM), определяющий квантильные характеристики релевантности для точного определения результатов. Эксперименты показали, что HPS значительно уменьшает нестабильность, а TRM точно восстанавливает метрики рейтинга. Этот подход обеспечивает устойчивую и достоверную оценку релевантности в системах с низкой точностью.
Annotation:
Lowering the numerical precision of model parameters and computations is widely adopted to improve the efficiency of retrieval systems. However, when computing relevance scores between the query and documents in low-precision, we observe spurious ties due to the reduced granularity. This introduces high variability in the results based on tie resolution, making the evaluation less reliable. To address this, we propose a more robust retrieval evaluation protocol designed to reduce score variation...
ID: 2508.03306v2 cs.IR, cs.AI, cs.CL
Авторы:

Paris Koloveas, Serafeim Chatzopoulos, Dionysis Diamantis, Christos Tryfonopoulos, Thanasis Vergoulis

#### Резюме В научной сфере растет количество публикаций, что усложняет процесс поиска и объединения существующих знаний. Даже при выявлении ценных работ необходимо прочитать множество заглавий и аннотаций, что требует много времени и может привести к несоответствию или несогласованности выводов. Мы предлагаем усовершенствовать широко известный сервис BIP! Finder, добавив возможность генерировать краткие и подробные сводки из результатов поиска, основанных на уровне влияния и популярности документов. Это решение позволяет быстро получить обзор литературы или подробный анализ, организованный вокруг важности документов. Наши результаты показывают, что данная комбинация существующих и новых функций ускоряет работу с литературой и помогает лучше ориентироваться в ней, улучшая продуктивность исследователей.
Annotation:
The growing volume of scientific literature makes it challenging for scientists to move from a list of papers to a synthesized understanding of a topic. Because of the constant influx of new papers on a daily basis, even if a scientist identifies a promising set of papers, they still face the tedious task of individually reading through dozens of titles and abstracts to make sense of occasionally conflicting findings. To address this critical bottleneck in the research workflow, we introduce a s...
ID: 2508.03962v1 cs.DL, cs.AI, cs.CL
Показано 1251 - 1260 из 1292 записей