CRAFT-GUI: Curriculum-Reinforced Agent For GUI Tasks
2508.11360v1
cs.AI, cs.HC
2025-08-19
Авторы:
Songqin Nong, Jingxuan Xu, Sheng Zhou, Jianfeng Chen, Xiaoxuan Tang, Tao Jiang, Wenhao Xu
Резюме на русском
#### Контекст
В глобальной эпохе интернета и мобильных технологий графические пользовательские интерфейсы (GUI) стали важной частью повседневной жизни. Их взаимодействие с автоматизированными системами позволяет улучшить эффективность работы с информационными системами. Однако существуют трудности в адаптации автоматизированных агентов к различным тестовым сценариям в GUI. Учитывая разнообразие сложности задач, необходимо разработать более удобный и эффективный метод обучения агентов, который может адаптироваться к разной сложности задач.
#### Метод
CRAFT-GUI представляет собой инновационный метод, основанный на алгоритме Group Relative Policy Optimization (GRPO). Он учитывает разное трудности динамических задач в GUI, разбивая обучение на уровни сложности (курсум). Это позволяет агенту структурировать свое обучение и учиться постепенно, начиная с простых задач и плавно переходя к сложным. Более того, проектированная система внутренней оценки результатов (reward function) сочетает простые правила и модельный анализ, что позволяет агенту получать более тонкий и эффективный обратный сигнал во время обучения.
#### Результаты
Выполнены эксперименты на двух типах бенчмарков: Android Control и внутренних онлайн-тестов. Результаты показали, что CRAFT-GUI превышает предыдущие результаты стандартных методов на 5.6% на Android Control и 10.3% на внутренних бенчмарках. Это свидетельствует о том, что интеграция курсума и reinforcement learning действительно способствует эффективному обучению агентов в GUI-задачах.
#### Значимость
CRAFT-GUI может применяться в различных областях, где требуется автоматизация взаимодействия с разнообразными GUI-системами. Это могут быть системы мониторинга, автоматизированные тестирования приложений, а также системы поддержки пользователей. Этот подход обеспечивает более точное и удобное взаимодействие с приложениями, повышая качество и эффективность автоматизации.
#### Выводы
Целевой подход CRAFT-GUI показался эффективным в обучении агентов для GUI-задач. Он расширяет возможности автоматизации в различных сферах, повышая качество и удобство работы с графическими системами. Будущие исследования будут направлены на улучшение точности оценки сложности задач и повышение универсальности метода для различных типов приложений.
Abstract
As autonomous agents become adept at understanding and interacting with
graphical user interface (GUI) environments, a new era of automated task
execution is emerging. Recent studies have demonstrated that Reinforcement
Learning (RL) can effectively enhance agents' performance in dynamic
interactive GUI environments. However, these methods face two key limitations:
(1) they overlook the significant variation in difficulty across different GUI
tasks by treating the entire training data as a uniform set, which hampers the
agent's ability to adapt its learning process; and (2) most approaches collapse
task-specific nuances into a single, coarse reward, leaving the agent with a
uniform signal that yields inefficient policy updates. To address these
limitations, we propose CRAFT-GUI, a curriculum learning framework based on
Group Relative Policy Optimization (GRPO) that explicitly accounts for the
varying difficulty across trajectories. To enable more fine-grained policy
optimization, we design a reward function that combines simple rule-based
signals with model-judged evaluation, providing richer and more nuanced
feedback during training. Experimental results demonstrate that our method
achieves significant improvements over previous state-of-the-art approaches,
outperforming them by 5.6% on public benchmarks Android Control and 10.3% on
our internal online benchmarks, respectively. These findings empirically
validate the effectiveness of integrating reinforcement learning with
curriculum learning in GUI interaction tasks.
Ссылки и действия
Дополнительные ресурсы: