Learning GUI Grounding with Spatial Reasoning from Visual Feedback

#### Контекст Графический интерфейс пользователя (GUI) широко используется в современных приложениях для взаимодействия с пользователем. Однако существуют проблемы с точностью интеллектуальных моделей, которые пытаются преобразовать естественный язык в координаты кликов и нажатий клавиш. Эти проблемы вызваны сложностью распознавания комплексных сложности графических пользовательских интерфейсов. Это снижает эффективность и повышает время работы систем. Наша мотивация заключается в развитии модели, которая будет учитывать пространственные связи и динамический контекст, чтобы улучшить точность и общую эффективность. #### Метод Мы предлагаем перефреймить задачу GUI-grounding как интерактивный поиск, где модель генерирует действия для перемещения курсора в пользовательском интерфейсе за счет распознавания объекта и оценки пространственных отношений. В каждом шаге модель определяет целевой объект, оценивает пространственные отношения курсора и перемещает курсор ближе к цели, исходя из прошлого движения. Мы используем нейросетевую модель GUI-Cursor, основанную на Qwen2.5-VL-7B, с тренировкой на многошаговом онлайн-реинфорсменте. Цветной курсор, отображающийся на экране, позволяет модели адаптироваться и улучшать свои решения в зависимости от процесса. #### Результаты Мы провели эксперименты с GUI-Cursor на двух наборах данных: ScreenSpot-v2 и ScreenSpot-Pro. На ScreenSpot-v2, наша модель увеличила долю правильных ответов с 88.8% до 93.9%, а на ScreenSpot-Pro — с 26.8% до 56.5%. Эксперименты показали, что наша модель находит решение в двух шагах для 95% случаев и может адаптироваться к более сложным ситуациям. #### Значимость Наша модель GUI-Cursor может быть применена в системах автоматизации, виртуальных помощниках и интерфейсах с глубоким взаимодействием. Она превосходит другие модели по точности и скорости, что делает её подходимой для реальных ситуаций. Главным преимуществом является способность адаптироваться к различным сложностям и учитывать пространственные отношения. Это может повлиять на развитие ИИ в области визуального понимания и повысит эффективность систем взаимодействия с пользователем. #### Выводы Мы успешно перефреймили задачу GUI-grounding как интерактивный поиск, показав преимущества нашей модели GUI-Cursor. Эта модель демонстрирует высокую точность и устойчивость в различных сценариях. Мы планируем расширить исследования на более сложные сценарии и улучшить модель для более сложных интерфейсов. Наш подход может стать ключевым для улучшения взаимодействия с пользователем в графических приложениях.