Efficient Multi-turn RL for GUI Agents via Decoupled Training and Adaptive Data Curation

#### Контекст Графические пользовательские интерфейсы (GUI) широко распространены в современных технологиях, обеспечивая удобство взаимодействия с компьютерами и мобильными устройствами. Однако автоматизация сложных задач, взаимодействующих с GUI, остается вызовом. Визуально-языковые модели (VLM) демонстрируют перспективы в этой области, но сталкиваются с проблемами: медленные многошаговые взаимодействия с GUI во время подготовки политики и недостаточное количество качественных взаимодействий хо AGENTUI для политического обучения. Данная работа ориентирована на решение этих проблем, обеспечивая эффективность и точность в обучении агентов для GUI-систем. #### Метод Для решения указанных проблем предлагается фреймворк Decoupled Agentic RL Training (DART). Он разделяет обучение на четыре асинхронных модуля: среда выполнения, сервис подготовки траекторий, менеджер данных и тренер. Это дизайн способствует неблокирующей связи, асинхронному обучению, подготовке траекторий на уровне роллаутов и синхронизации моделей на уровне каждого рабочего процесса. Для обеспечения эффективного обучения, вводится адаптивная схема курсации данных: (1) предварительное сборение успешных траекторий для сложных задач, (2) динамическое изменение количества роллаутов и длины траекторий в зависимости от сложности задачи, (3) обучение на высокоэнтропийных шагах для концентрации на критических решениях, (4) стабилизация обучения через усеченное важностное выборка для соответствия политик. #### Результаты Исследования проводились на OSWorld-benchmark. DART-GUI-7B показал 42.13% успешность в выполнении задач, что является 14.61% абсолютного прироста по сравнению с базовой моделью и 7.34% выше SOTA открытого кода. Эти результаты свидетельствуют о значительном улучшении производительности. Более того, DART повысил GPU-потребление на 1.6, тренировочный процесс на 1.9, а эффективность среды выполнения увеличил на 5.5. #### Значимость Предлагаемый подход может быть применен в различных сценариях, где требуется автоматизация задач, взаимодействующих с GUI. Он обеспечивает высокую эффективность обучения, уменьшает время роллаута, улучшает качество решений и способствует устойчивости политик. Эти достижения открывают широкие возможности для развития систем агентного RL в области взаимодействия с GUI. #### Выводы Основные достижения: эффективное решение проблем медленных взаимодействий и недостатка качественных данных в обучении RL для GUI. Направления будущих исследований: улучшение адаптивности курсации данных, расширение DART на другие типы интерактивных систем и развитие новых методов обучения в многошаговых