DevNous: An LLM-Based Multi-Agent System for Grounding IT Project Management in Unstructured Conversation
2508.08761v1
cs.CL, cs.AI
2025-08-14
Авторы:
Stavros Doropoulos, Stavros Vologiannidis, Ioannis Magnisalis
Резюме на русском
## Контекст
Информационные технологии (IT) широко распространены в современных организациях, но управление такими проектами часто сталкивается с проблемами связанными с обработкой неструктурированных данных. Особенно критический является процесс перевода неструктурированных диалогов группы разработчиков в структурированные элементы управления проектоми, необходимые для корректного управления проектами. Этот процесс требует большого времени и трудоемкости, что может привести к задержкам и неточностям в проектовом управлении. Таким образом, авторы предлагают развить автоматизированные системы, которые могут быстро и точно преобразовывать неструктурированные диалоги в структурированные элементы управления проектами.
## Метод
Авторы предлагают DevNous — систему, основанную на Large Language Model (LLM), которая имеет многоагентную архитектуру. DevNous интегрируется с существующими средами обмена сообщениями для упрощения управления проектами. Она использует технологии NLP для распознавания намерений в неструктурированных диалогах и преобразовывает их в структурированные элементы управления задачами. Благодаря этому, DevNous может автоматизировать рутинные задачи, такие как формализация задач и сводки прогресса. Эта система является децентрализованной и может работать в реальном времени, обеспечивая эффективность и удобство в использовании.
## Результаты
Авторы провели ряд экспериментов для оценки эффективности DevNous. Для этого был создан новый бенчмарк, содержащий 160 реалистичных диалогами, которые были ручной способом аннотированы с многометковым методом. Эксперименты показали, что DevNous достигает точности выполнения задач в реальном времени до 81,3%, а F1-Score (многомерный) составил 0,845. Эти результаты показывают, что DevNous может эффективно работать в реальных условиях, обеспечивая надежную автоматизацию процессов управления проектами.
## Значимость
DevNous предлагает новую архитектуру для развития административных агентов, которая может быть использована в различных областях IT-управления. Она позволяет уменьшить время, затрачиваемое на рутинные задачи, улучшая производительность и точность управления проектами. Благодаря её возможностям, можно значительно сократить задержки и ошибки в управлении проектами, что делает её привлекательной для широкого круга пользователей.
## Выводы
DevNous представляет собой прорыв в области автоматизации управления проектами. Она доказала свою эффективность в решении проблемы преобразования неструктурированных диалогов в структурированные элементы управления проектами. Будущие исследования будут сосредоточены на расширении функцио
Abstract
The manual translation of unstructured team dialogue into the structured
artifacts required for Information Technology (IT) project governance is a
critical bottleneck in modern information systems management. We introduce
DevNous, a Large Language Model-based (LLM) multi-agent expert system, to
automate this unstructured-to-structured translation process. DevNous
integrates directly into team chat environments, identifying actionable intents
from informal dialogue and managing stateful, multi-turn workflows for core
administrative tasks like automated task formalization and progress summary
synthesis. To quantitatively evaluate the system, we introduce a new benchmark
of 160 realistic, interactive conversational turns. The dataset was manually
annotated with a multi-label ground truth and is publicly available. On this
benchmark, DevNous achieves an exact match turn accuracy of 81.3\% and a
multiset F1-Score of 0.845, providing strong evidence for its viability. The
primary contributions of this work are twofold: (1) a validated architectural
pattern for developing ambient administrative agents, and (2) the introduction
of the first robust empirical baseline and public benchmark dataset for this
challenging problem domain.
Ссылки и действия
Дополнительные ресурсы: