Morae: Proactively Pausing UI Agents for User Choices

## Контекст Область исследования сосредоточена на развитии пользовательских интерфейсов (UI), которые облегчают доступ к сложной или недоступной информации для людей с ограниченным зрением (BLV). Несмотря на преимущества UI-агентов, их текущая реализация часто приводит к уменьшению пользовательского влияния. Они выполняют задачи с искусственным интеллектом без участия пользователя в критических выборах или предупреждении о важной контекстной информации. Например, в одном из исследований BLV-участник хотел купить спарклинг-воду по самой низкой цене, но агент автоматически выбрал одну без упоминания других вариантов с разными вкусами или лучшими оценками. Эта проблема мешает пользователям эффективно использовать агенты, что является мотивацией для разработки Morae. ## Метод Morae — это инновационный подход, который активно вовлекает пользователей в ключевые решения. Он использует мощные модели мультимодального анализа для интерпретации пользовательских запросов, разбора кода UI и скриншотов. Когда агент обнаруживает решающий момент, он приостанавливает свою работу, чтобы пользователь мог внести вклад в выбор. Это стратегия гармонизирует выгоду от автоматизации с возможностью выражения пользовательских предпочтений. Архитектура Morae основана на динамической идентификации решений и интерактивном взаимодействии с пользователем. ## Результаты Модель была проверена на реальных задачах в интернете с участием BLV-участников. Результаты показали, что Morae позволила выполнить больше задач по сравнению с базовыми агентами, включая OpenAI Operator. Кроме того, пользователи Morae сделали выбор, более соответствующий их предпочтениям. Эти результаты демонстрируют улучшенную эффективность и преимущества в смешанной инициативе, где автоматизация и пользовательские предпочтения одновременно применяются. ## Значимость Morae может применяться в различных сферах, где требуется оптимизация пользовательского опыта, таких как доступ к сложной информации, торговля и управление информационными системами. Он предоставляет более интерактивную и удобную платформу для пользователей, повышая их самостоятельность. Этот подход может стать пионерским в развитии новых пользовательских интерфейсов, которые будут учитывать не только технические возможности, но и потребности пользователей, обеспечивая более эффективное и точное выполнение задач. ## Выводы Morae продемонстрировал эффективность в улучшении доступности и эффективности пользовательских интерфейсов для BLV-пользователей. Будущие исследования будут направлены на улуч