ToolACE-MT: Non-Autoregressive Generation for Agentic Multi-Turn Interaction
2508.12685v1
cs.CL, cs.AI, cs.LG
2025-08-20
Авторы:
Xingshan Zeng, Weiwen Liu, Lingzhi Wang, Liangyou Li, Fei Mi, Yasheng Wang, Lifeng Shang, Xin Jiang, Qun Liu
Резюме на русском
## Контекст
Одним из ключевых направлений развития ИИ является создание систем, способных эффективно взаимодействовать с пользователями в рамках сложных задач. Это включает в себя взаимодействия с несколькими шагами, вовлечение различных инструментов и динамические обмены. Но в существующих моделях нередко обнаруживаются проблемы с обеспечением точности, структуры и динамичности в таких сценариях. Это приводит к необходимости разработки методов, которые могут генерировать более качественные данные для обучения и оценки таких систем.
## Метод
Предлагаемый подход, ToolACE-MT, основывается на неавторегрессионной генерировании диалогов, разделяющий процесс на три этапа. **Инициализация** формирует структурно полные, но семантически грубые диалоговые выводы. **Итеративное уточнение** вводит реалистичные сложности, расширяет диалог и добавляет контекстов. **Оффлайн-проверка** гарантирует качество и логичность результатов с помощью правил и моделей. Этот подход стремится создавать данные, которые не только содержат всю необходимую структуру, но и динамичны в своем смысле, чтобы отразить реальные сценарии интеракций.
## Результаты
Используя этот подход, были проведены эксперименты, в которых генерировались диалоги с несколькими шагами, включая задачи с использованием инструментов. Обучающиеся данные были получены с помощью многих выборок, а результаты показали, что ToolACE-MT удалось увеличить качество данных, сократить время генерации и обеспечить более гибкий процесс сравнения многих моделей. Эти результаты опровергают необходимость в дорогостоящих многошаговых авторегрессионных процессах, предлагая более эффективную альтернативу.
## Значимость
Модель ToolACE-MT может быть применима в различных сферах, таких как генерация диалогов для систем помощников, систем технической поддержки и интерактивных приложений. Одним из основных преимуществ является ее эффективность и универсальность, что позволяет улучшить качество данных в средах с несколькими шагами. Это может привести к повышению качества работы генерируемых моделей и к более естественным взаимодействиям с пользователями.
## Выводы
Это исследование предлагает новую модель для генерирования данных для многошаговых сценариев с использованием инструментов. Достижения ToolACE-MT указывают на возможность создания улучшенных систем, которые будут более эффективными и реалистичными в своих взаимодействиях. Будущие исследования будут сконцентрированы на расширении модели для более сложных задач и интеграции дополнительных инструментальных функций.
Abstract
Agentic task-solving with Large Language Models (LLMs) requires multi-turn,
multi-step interactions, often involving complex function calls and dynamic
user-agent exchanges. Existing simulation-based data generation methods for
such scenarios rely heavily on costly autoregressive interactions between
multiple LLM agents, thereby limiting real-world performance of agentic tasks.
In this paper, we propose a novel Non-Autoregressive Iterative Generation
framework, called ToolACE-MT, for constructing high-quality multi-turn agentic
dialogues. ToolACE-MT generates full conversational trajectories through three
stages: coarse-grained initialization, iterative refinement, and offline
verification. The initialization phase builds a structurally complete yet
semantically coarse dialogue skeleton; the iterative refinement phase
introduces realistic complexities and continued refinement via mask-and-fill
operations; and the offline verification phase ensures correctness and
coherence via rule- and model-based checks. Experiments demonstrate that
ToolACE-MT enables efficient, effective and generalizable agentic data
generation, offering a new paradigm for high-quality data construction in
tool-augmented LLM scenarios.
Ссылки и действия
Дополнительные ресурсы: