Structuring GUI Elements through Vision Language Models: Towards Action Space Generation

## Контекст Графические пользовательские интерфейсы (GUI) широко используются в современных системах компьютерного взаимодействия. Одним из ключевых аспектов понимания GUI является их структурирование, что позволяет автоматизировать интерактивные процессы и улучшить пользовательский опыт. Несмотря на развитие многоязыковых моделей языка (MLLM), их применение в этой области сталкивается с рядом проблем. Эти модели обычно обучаются с помощью максимального правдоподобия (MLE), но этот подход имеет ограничения, такие как **exposure bias**, который приводит к ошибкам в процессе работы модели на тестовых данных. Это ограничение становится особенно заметным при финальной стадии работы модели, когда генерируются позиции элементов GUI. Кроме того, существуют сложности с точным генерированием координат элементов GUI из текстовых инструкций, что требует развития более специфичных методов для решения этой задачи. ## Метод Мы предлагаем **IoU-Augmented Maximum Likelihood (IAML)**, новый подход к обучению, который улучшает точность генерирования координат элементов GUI внутри моделей типа MLLM. Наша методология включает в себя процесс **IoU-based coordinate sampling**, где координаты элементов GUI выбираются на основе их интерсекционной области с областью зрения модели. Этот метод позволяет создавать более точные и контекстуально верные выходные данные для координат. Модель IAML применяет этот подход к обучению MLLM, которая после этого лучше способна генерировать координаты элементов GUI. Такой подход не только устраняет проблему **exposure bias**, но также улучшает общую точность и надежность модели при работе с GUI. ## Результаты Мы провели ряд экспериментов, используя различные GUI-данные для тренировки и тестирования нашей модели. Наши результаты показывают, что **IAML** значительно превышает стандартные MLLM в точности генерирования координат элементов GUI. Мы сравнили нашу модель с другими подходами, такими как MLE и другие адаптивные стратегии обучения, и убедились, что **IAML** демонстрирует существенное улучшение в ряде метрик, в том числе **Intersection over Union (IoU)** и **Average Precision (AP)**. Эти результаты подтверждают, что наш подход лучше адаптируется к задаче структурирования GUI и обеспечивает более точный и надежный вывод координат. ## Значимость Наш подход имеет широкое применение в области **автоматизации интерфейсов**, включая такие приложения, как **автоматические системы поддержки**, **распознавание инструкций** и **генерирование пользовательских интерфейсов**. Модель IAML предоставляет значительные преимущества, такие как прецизионность в распознавании координат и увеличение удобства для пользователей в интерактивных приложениях. Это может