Retrieval-augmented GUI Agents with Generative Guidelines

## Контекст Графические пользовательские интерфейсы (GUI) широко используются в современных цифровых системах для управления информацией и взаимодействия с пользователями. Однако автоматизация сложных цифровых задач через GUI-агенты на базе виденио-языковых моделей (VLM) сталкивается с некоторыми ограничениями. Эти ограничения включают недостаточное количество данных для обучения и сложность задач, которые часто требуют доступа к редким и непредсказуемым сценариям. Эти ограничения приводят к ограниченной эффективности таких агентов в реальных ситуациях. Многие текущие подходы стремятся решить эти проблемы, но требуют валидных средств обучения, включая большие наборы данных и сложные параметры. В этом контексте возникает необходимость в новом, легковесном решении, которое может увеличить эффективность GUI-агентов, особенно в сценариях с отсутствием или недостаточным количеством обучающих данных. ## Метод Предлагаемый подход, RAG-GUI (Retrieval-Augmented GUI Agents with Generative Guidelines), является легковесной моделью, интегрирующей веб-ресурсы во время выполнения. RAG-GUI разрабатывается с использованием двух этапов обучения: начальная супервизионная финетюнинг (SFT) и дополнительная самоуправляемая оценка при отклонении (RSF). Эти шаги позволяют модели лучше адаптироваться к новым сценариям, особенно тем, которые не были встречены во время обучения. Модель RAG-GUI является моделью с открытым кодом и модульной, то есть она может быть легко внедрена в различные VLM-агенты. Это решение предназначено для расширения глубины и ширины возможностей GUI-агентов без необходимости дополнительного тренировочного объема. ## Результаты Эксперименты проводились на трех различных задачах, включая сценарии взаимодействия с компьютером и мобильными приложениями. Результаты показали, что RAG-GUI превосходит базовые агенты на протяжении всех задач, показывая увеличение эффективности от 2.6% до 13.3% в зависимости от размера модели. Она также превосходит другие текущие модели по генеративному подходу в тех же задачах. Эти результаты подтверждают гибкость RAG-GUI в использовании в разных VLM-агентах и ее способность обеспечивать качественные результаты в реальных сценариях, даже в условиях нехватки данных. ## Значимость RAG-GUI может быть применена в различных областях, включая автоматизацию цифровых процессов, управление приложениями, интерактивные системы, и многое другое. Основные преимущества включают в себя увеличение эффективности GUI-агентов, уменьшение необходимости в больших наборах тренировочных данных, и легковесную модель, которая мо