📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 82
Последнее обновление: сегодня
Авторы:
Shengqi Li, Amarnath Gupta
Данная работа предлагает фреймворк для контроля качества диалогов в бо LLM, который определяет 9 ключевых параметров в 6 областях, влияющих на структуру и содержание бесед. Исследование проводилось с использованием современных LLMs, показав возможность значительного улучшения показателей значимости бесед по таким критериям, как последовательность знаний, гранулярность управления и логичность разговора. Это решение делает модели более эффективными в различных сферах, включая образование, терапию, сервис клиентов и развлечения. Основные выводы: универсальный подход к управлению качеством разговоров может повысить адаптацию ботов к конкретным задачам, при этом в дальнейшем планируется расширение фреймворка и создание баз данных для валидации.
Annotation:
This paper introduces a parameterization framework for controlling
conversation quality in large language models. We explore nine key parameters
across six dimensions that enable precise specification of dialogue properties.
Through experiments with state-of-the-art LLMs, we demonstrate that
parameter-based control produces statistically significant differences in
generated conversation properties. Our approach addresses challenges in
conversation generation, including topic coherence, knowledge...
📄 Defend LLMs Through Self-Consciousness
2025-08-09Авторы:
Boshi Huang, Fabio Nonato de Paula
Огромное повышение популярности Large Language Models (LLMs) подвергло их неожиданному риску — подконтрольным атакам, таким как prompt injection. Эти атаки могут привести к непредсказуемым и, в некоторых случаях, вредоносным поведениям моделей. В настоящей работе предлагается новый подход к защите LLMs, основанный на их собственной самосознательности. Метод включает в себя два модуля: Meta-Cognitive и Arbitration. Эти модули позволяют модели оценивать и контролировать свои выводы, не требуя дополнительных внешних систем классификации. На основе двух высококачественных датасетов — AdvBench и Prompt-Injection-Mixed-Techniques-2024 — были проведены эксперименты с семьями LLMs. Результаты показали, что защитный механизм действителен, включая случаи полной или почти полной защиты в режиме Enhanced. Однако появилась компромиссная ситуация между увеличением успешности защиты и требованиями к вычислительным ресурсам. Это решение предлагает эффективную и стоимостно подходящую модель для усиления этичных защит LLMs, особенно в GenAI-средах.
Annotation:
This paper introduces a novel self-consciousness defense mechanism for Large
Language Models (LLMs) to combat prompt injection attacks. Unlike traditional
approaches that rely on external classifiers, our method leverages the LLM's
inherent reasoning capabilities to perform self-protection. We propose a
framework that incorporates Meta-Cognitive and Arbitration Modules, enabling
LLMs to evaluate and regulate their own outputs autonomously. Our approach is
evaluated on seven state-of-the-art LLMs...
Авторы:
Peng Ding, Rick Stevens
**Резюме**
Проблема: Развитие tool-augmented Large Language Models (LLMs) привело к фрагментации экосистемы, требуя от разработчиков умения взаимодействовать с различными протоколами, определять схемы вручную и управлять сложными рабочими процессами.
Решение: Мы предлагаем протокол-агностичный подход к интеграции инструментов, абстрагирующийся от протоколов, чтобы оптимизировать выполнение задач. Наше решение включает автоматическое генерирование схем, двойной режим эксплуатации, позволяющий одновременно использовать различные инструменты, и упрощенный менеджмент множества источников.
Выводы: Эксперименты показали снижение объема кода при интеграции в 60–80%, увеличение производительности до 3.1 раз благодаря оптимизации конкурентности, и полную совместимость с существующими стандартами функционального вызова. Этот подход обеспечивает эффективные и простой в использовании решения для разработки LLM-приложений.
Annotation:
The proliferation of tool-augmented Large Language Models (LLMs) has created
a fragmented ecosystem where developers must navigate multiple protocols,
manual schema definitions, and complex execution workflows. We address this
challenge by proposing a unified approach to tool integration that abstracts
protocol differences while optimizing execution performance. Our solution
demonstrates how protocol-agnostic design principles can significantly reduce
development overhead through automated schem...
📄 AGENTiGraph: A Multi-Agent Knowledge Graph Framework for Interactive, Domain-Specific LLM Chatbots
2025-08-09Авторы:
Xinjie Zhao, Moritz Blum, Fan Gao, Yingjian Chen, Boming Yang, Luis Marquez-Carpintero, Mónica Pina-Navarro, Yanran Fu, So Morikawa, Yusuke Iwasawa, Yutaka Matsuo, Chanjun Park, Irene Li
AGENTiGraph представляет собой интерактивную систему, обеспечивающую удобный доступ и управление доменно-специфическими знаниями через знакомый язык. Это решение рассчитано на необходимость неэкспертных пользователей в визуальных инструментах для построения и модификации знаний в форме графов, управляемых в рамках диалогов. Ключевыми особенностями AGENTiGraph являются многократные круглые переговоры, автоматическое обновление и интеграция новых знаний, а также универсальность подхода благодаря встроенным моделям для классификации запросов, планирования и адаптации знаний. В экспериментах на базе бенчмарка из 3500 запросов в сценарии образования, AGENTiGraph демонстрирует высокую точность классификации (95.12%) и успешность выполнения (90.45%), превосходя сильные нулевые-шаги. Решение имеет перспективы для достижения сложности и масштабируемости, например, в юридических и медицинских сферах с применением новых законодательных актов или интерпретаций научных данных.
Annotation:
AGENTiGraph is a user-friendly, agent-driven system that enables intuitive
interaction and management of domain-specific data through the manipulation of
knowledge graphs in natural language. It gives non-technical users a complete,
visual solution to incrementally build and refine their knowledge bases,
allowing multi-round dialogues and dynamic updates without specialized query
languages. The flexible design of AGENTiGraph, including intent classification,
task planning, and automatic knowledg...
Авторы:
Dingwei Zhu, Shihan Dou, Zhiheng Xi, Senjie Jin, Guoqiang Zhang, Jiazheng Zhang, Junjie Ye, Mingxu Chai, Enyu Zhou, Ming Zhang, Caishuang Huang, Yunke Zhang, Yuran Wang, Tao Gui
**Резюме**
В текущих Reinforcement Learning from Human Feedback (RLHF) системах значительная проблема заключается в том, что наградная информация часто шумная и неточная, что приводит к проблемам с устойчивостью политики и ее общей работоспособностью. Особенно остро это проявляется при использовании моделей текстовых ответов, где неточности в награде могут привести к неверному принятию решений. В данной работе авторы показывают, что значительная часть этих проблем может быть решена путем улучшения значимости значения (value model). Они предлагают VRPO — новую архитектуру, которая стремится сделать значение модели более устойчивой к шумам с помощью двух основных элементов: (1) аугментации тренировочного процесса с помощью генерации слов и оценки энтропии, (2) использование информационного ограничения вариационного буттлнейка. Эти изменения превращают значение модели из простого предсказателя в активного регулятора шума, что позволяет политике более точно отсеивать мешающие сигналы. Эксперименты показали, что VRPO выдает значительно лучшие результаты по сравнению с PPO и GRPO на задачах математического разума, специальных вопросов и разговорных диалогах. Это подтверждает важность значения модели в RLHF и предлагает эффективный подход для борьбы с шумом в наградах.
Annotation:
Reinforcement Learning from Human Feedback (RLHF) often suffers from noisy or
imperfect reward supervision in real-world settings, which undermines policy
stability and generalization. Such noise may cause models to lose attention on
key words during advantage estimation. While prior work focuses on reward
denoising or filtering poor data, it often overlooks the critical role of the
value model in policy optimization. In this work, we show that a strong value
model is essential for mitigating no...
Авторы:
Zikun Cui, Tianyi Huang, Chia-En Chiang, Cuiqianhe Du
Многоязычные языковые модели (LLMs) становятся важной частью систем, решающих проблему распространения неточной информации. Однако традиционные подходы к детекции неточностей ограничиваются бинарными определениями (точное/неточное), не учитывая глубину и логику верификации. Данная работа предлагает инновационный LLM-агент, реализующий многошаговую верификацию неточностей. Агент использует три основных инструмента: решение поисковых задач, оценку источников достоверности и проверку численных утверждений. Он собирает, проверяет и синтезирует доказательства, обеспечивая полную логическую цепочку вывода. Агент оценивался на высококачественных датасетах, включая FakeNewsNet, и показал превосходство по сравнению с традиционными моделями и LLMs в точности детекции, логической ясности и устойчивости к изменению контента. Результаты демонстрируют перспективность данного подхода для создания надежных, прозрачных и эффективных систем AI-ассистированной факт-чекинг.
Annotation:
With the proliferation of Large Language Models (LLMs), the detection of
misinformation has become increasingly important and complex. This research
proposes an innovative verifiable misinformation detection LLM agent that goes
beyond traditional true/false binary judgments. The agent actively verifies
claims through dynamic interaction with diverse web sources, assesses
information source credibility, synthesizes evidence, and provides a complete
verifiable reasoning process. Our designed agent...
Авторы:
Ge Shi, Kaiyu Huang, Guochen Feng
Работа предлагает новый подход к генерации длинных текстов, ориентированный на улучшение качества творческих рассказов с помощью графов знаний и литературной теории. Основная проблема — выход из темы и неестественность сюжета в существующих методах, основанных на раздельной генерации и оформлении сюжета. Решением является многоагентная система, использующая LLMs в качестве основы. Для предотвращения выхода из темы предложено два уровня памяти: хранения важных моментов на длинном сроке и непосредственного опыта на коротком. Для обеспечения привлекательности сюжета разработана тематическая фреймворк-область, основанная на литературной теории, включающая неопределённые факторы и критерии оценки. Многоагентная система также включает диалогические интеракции для повышения консистентности и логики текста. Результаты показывают, что этот подход способен генерировать более качественные и логичные длинные рассказы по сравнению с предыдущими методами.
Annotation:
The generation of a long story consisting of several thousand words is a
sub-task in the field of long text generation~(LTG). Previous research has
addressed this challenge through outline-based generation, which employs a
multi-stage method for generating outlines into stories. However, this approach
suffers from two common issues: almost inevitable theme drift caused by the
loss of memory of previous outlines, and tedious plots with incoherent logic
that are less appealing to human readers.
...
Авторы:
Junyao Yang, Jianwei Wang, Huiping Zhuang, Cen Chen, Ziqian Zeng
Large Language Models (LLMs) с длинными chain-of-thought (CoT) могут решать сложные задачи за счет многоступенчатого логического рассуждения. Однако объединение таких моделей с domain-specific LLMs часто приводит к ухудшению логической способности и деградации качества результатов. Для решения этой проблемы предложен метод RCP-Merging, основанный на принципе сохранения фундаментальной CoT-способности при мерже domain-specific моделей. Метод использует метрику reasoning capability indicator для оценки и сохранения весов логической модели, при этом активно интегрируя значимые weight-ы domain-specific модели. Эксперименты на моделях Qwen2.5-7B, Llama3.1-8B и Qwen2.5-1.5B в области BioMedicine и Finance показали, что RCP-Merging улучшает task-performance в домене на 9.5% и 9.2% по сравнению с состояниями техники, при этом существенно не снижая CoT-способности. Этот подход проявляет высокую ресурсоэффективность и широкую применимость для создания моделей совмещающих общий и доменный знания.
Annotation:
Large Language Models (LLMs) with long chain-of-thought (CoT) capability,
termed Reasoning Models, demonstrate superior intricate problem-solving
abilities through multi-step long CoT reasoning. To create a dual-capability
model with long CoT capability and domain-specific knowledge without
substantial computational and data costs, model merging emerges as a highly
resource-efficient method. However, significant challenges lie in merging
domain-specific LLMs with long CoT ones since nowadays mer...
Авторы:
Junyoung Lim, Jaewoo Ahn, Gunhee Kim
Генерирование точных и структурированных подписей для диаграмм остается сложной задачей для визуально-языковых моделей, в основном из-за недостатка больших, высококачественных датасетов реальных диаграмм. Основная проблема в том, что существующие датасеты часто включают лишнюю информацию, которая нельзя вывести из диаграмм, и недостаточно хорошо охватывают структурные элементы и основные выводы. Чтобы решить эту проблему, мы представляем ChartCap — большой датасет из 565К реальных диаграмм, покрывающий широкий спектр типов диаграмм. Наш датасет включает в себя точные, детальные подписи, которые исключают лишнюю информацию и сосредоточены на структуре и ключевых выводах. Чтобы повысить качество, мы разработали 4-х этапную методику с использованием циклической консистентности для проверки гуманными экспертами. Мы также предложили новый метрику — Visual Consistency Score — для оценки качества подписей, сравнивая регенерируемую диаграммой с оригиналом. Наши эксперименты показали, что модели, приточенные на ChartCap, генерируют более точные и информативные подписи с меньшим количеством халлуцинаций, превосходя даже профессионально аннотированные данные.
Annotation:
Generating accurate, informative, and hallucination-free captions for charts
remains challenging for vision language models, primarily due to the lack of
large-scale, high-quality datasets of real-world charts. However, existing
real-world chart datasets suffer from the inclusion of extraneous information
that cannot be inferred from the chart and failure to sufficiently capture
structural elements and key insights. Therefore, we introduce ChartCap, a
large-scale dataset of 565K real-world chart...
Авторы:
Chenyang Wang, Liang Wen, Shousheng Jia, Xiangzheng Zhang, Liang Xu
Научная статья Light-IF: Endowing LLMs with Generalizable Reasoning via Preview and Self-Checking for Complex Instruction Following рассматривает проблему неэффективного выполнения команд сложным управляющим языковыми моделями (LLMs). Авторы выявляют недостаточное внимание к процессу рассуждения в модели как главную причину несоответствия командам. Решением становится разработка протокола под названием Light-IF, включающего стратегии предварительного просмотра и самопроверки. Эти механизмы включены в тренировочный процесс, который позволяет модели лучше учитывать требования задачи и повышать уровень общей пригодности решений для различных сложностей. Авторы используют сложность задач, реJECTION-семплинг и расширенный финатный тонкий тюнинг с внедрением опорных свойств логического рассуждения. Эксперименты показывают, что Light-IF оказывается эффективной для обучения моделей различных размеров, включая модель Light-IF-32B, которая показывает лучшие результаты по сравнению с опубликованными моделями с меньшим и большим количеством параметров.
Annotation:
While advancements in the reasoning abilities of LLMs have significantly
enhanced their performance in solving mathematical problems, coding tasks, and
general puzzles, their effectiveness in accurately adhering to instructions
remains inconsistent, particularly with more complex directives. Our
investigation identifies lazy reasoning during the thinking stage as the
primary factor contributing to poor instruction adherence. To mitigate this
issue, we propose a comprehensive framework designed t...
Показано 7401 -
7410
из 7506 записей