InfiGUI-G1: Advancing GUI Grounding with Adaptive Exploration Policy Optimization

## Контекст Суть исследования заключается в развитии самостоятельных агентов, которые взаимодействуют с графическими пользовательскими интерфейсами (GUI) только на основе текстовых инструкций. Это область значимa для развития интеллектуальных систем, которые могут управляться естественным языком. Одна из основных проблем в этой области — точное понимание и алгебраическое сопоставление текстовых инструкций с конкретными элементами GUI. Даже с появлением возможностей, предоставляемых Multimodal Large Language Models (MLLMs), эта задача остается сложной из-за необходимости точного семантического и пространственного соответствия. Несмотря на то, что Reinforcement Learning with Verifiable Rewards (RLVR) успешно оптимизирует пространственную точность, оно недостаточно эффективно для решения проблемы семантического сопоставления. Эти ограничения могут быть преодолены с помощью более эффективных методов по исследованию возможных решений. ## Метод Наша подходящая стратегия — Adaptive Exploration Policy Optimization (AEPO) — представляет собой фреймворк, оптимизирующий стратегию исследования элементов GUI с помощью нейросетевых моделей. Основной идеей является использование многоответной генерации, чтобы расширить область исследований, а затем — систематического влияния Adaptive Exploration Reward (AER), который оптимизирует работу модели на основе логики выбора эффективных путей. AEPO использует теоретически обоснованную формулу U/C, где U — успех, а C — затраты ресурсов. Эта формула позволяет модели фокусироваться на наиболее приоритетных случаях. Модели InfiGUI-G1, обученные с помощью AEPO, имеют два варианта: InfiGUI-G1-3B и InfiGUI-G1-7B. ## Результаты Эксперименты проводились на нескольких конкурентных GUI-benchmarks, позволяющих измерить общую грамотность, пространственную точность и семантический алгебраизм. Модели InfiGUI-G1 показали существенные улучшения в производительности, с достижением роста до 9,0% по сравнению с базовым RLVR. Эти результаты демонстрируют способность AEPO улучшить семантическую точность, даже при сложных сценариях, где RLVR сталкивается с проблемами. Мы также проанализировали время обучения и ресурсы, использованные для подтверждения эффективности нового подхода. ## Значимость Результаты AEPO могут быть применены в различных сферах, где требуется интеллектуальное взаимодействие с GUI — от управления умными домашними устройствами до систем управления бизнес-процессами. Основное преимущество AEPO заключается в том, что он позволяет моделям быстро и эффективно учиться, не теряя точности в пространственной и семантической обработке. Это открывает путь к более широкому применению GUI-агентов в уч