InfraMind: A Novel Exploration-based GUI Agentic Framework for Mission-critical Industrial Management

## Контекст Industrial management систем, таких как Data Centers, требуют высокоточного и надежного управления, чтобы обеспечить стабильную работу. Однако, сложность этих систем растет взаимосвязь с многопроизводительностью, высокими требованиями к надежности и ограниченным ресурсам экспертного персонала. Роботизированная процессная автоматизация (RPA), основанная на ручной настройке скриптов, часто ограничена в своей гибкости и требует высоких затрат на обслуживание. Новые технологии, основанные на Large Language Models (LLM), предлагают более гибкие решения для автоматизации, но сталкиваются с проблемами, такими как неопознаваемость элементов интерфейса, неточность выполнения задач, сложности с локализацией состояний и безопасностью приложений. Мы предлагаем InfraMind, расширенную платформу, которая адаптируется к этим вызовам и предлагает мощные методы для управления промышленными системами. ## Метод InfraMind является исследовательским фреймворком, основанным на exploration-based GUI, который сочетает в себе новые подходы для решения проблем в агентном управлении. Он включает 5 основных модулей: (1) систематический поиск-основанный exploration с виртуальными машинами для понимания интерфейса и автоматизированного определения элементов; (2) планирование на основе мемори-дривен, которое обеспечивает высокую точность и эффективность выполнения задач; (3) улучшенная идентификация состояний, позволяющая лучше локализоваться в сложных иерархических интерфейсах; (4) значительное уменьшение размера модели и увеличение эффективности в работе, используя structured knowledge distillation; (5) многоуровневые механизмы безопасности для защиты от ошибок и рисков в критичных операциях. ## Результаты Мы провели эксперименты с использованием open-source и commercial Data Center Infrastructure Management (DCIM) платформ. Наши результаты показывают, что InfraMind постоянно превышает существующие фреймворки по коэффициенту успешного выполнения задач и эффективностью работы. Это мощное и стабильное решение для автоматизации управления промышленными системами, которое позволяет повысить точность и эффективность в работе, а также уменьшить затраты на обслуживание. ## Значимость InfraMind предлагает широкие возможности в применении в различных сферах, таких как cloud computing, industrial IoT, и другие mission-critical operations. Его особенностью является гибкость, точность и безопасность в автоматизации, что делает его привлекательным для крупных компаний, использующих сложные системы управления. InfraMind может уменьшить количество ошибок, повысить эффективность и снизить трудозатраты на рутинные операции. Это дает возможность компаниям сосредоточиться на сложных задачах, а не на операцион