Interaction-Driven Browsing: A Human-in-the-Loop Conceptual Framework Informed by Human Web Browsing for Browser-Using Agents

2509.12049v1 cs.HC, cs.AI, cs.MA 2025-09-17
Авторы:

Hyeonggeun Yun, Jinkyu Jang

Резюме на русском

## Контекст Интернет-браузеры широко используются для выполнения различных задач, однако большинство браузерных агентов (BUA) выполняют только одну конкретную инструкцию и не могут поддерживать сложные, нелинейные браузерные поиски с неоднозначными целями, итеративными решениями и изменяющимся контекстом. Это приводит к ограниченности их применения. Нам также известно, что принципы взаимодействия, на которых основываются текущие BUA, не всегда соответствуют естественным паттернам человеческого поведения во время браузерного поиска. Мы предлагаем новую концепцию, в которой BUA активно предлагают последующие действия, а пользователь управляет процессом с помощью обратной связи, позволяя подстраиваться под конкретные задачи и неоднозначности. Этот подход предназначен для уменьшения физического и когнитивного усилий, сохранив традиционные представления о браузерном поиске и поддерживая пользователя в достижении целей. ## Метод Наша концепция основывается на теориях человеческого поведения во время браузерного поиска. Мы предлагаем итеративный цикл, в котором BUA строит предложения действий, а пользователь может принимать решения, указывая желаемую глубину и ширину проведения сканирования. Мы также разделяем действия на два вида: обогащение и оптимизация. Обогащение позволяет пользователю расширить область поиска, в то время как оптимизация помогает подстраиваться под выполнение конкретных целей. Мы предлагаем архитектуру, в которой BUA анализирует пользовательские действия и адаптируется к ним, создавая более точные предложения в каждом цикле. Эта модель позволяет BUA лучше подстроиться под специфику поведения пользователя. ## Результаты Мы проводим эксперименты, используя реальные данные браузерного поиска, чтобы протестировать нашу модель. Мы сравниваем результаты с традиционными BUA и показываем, что интерактивный подход снижает количество пользовательских усилий и улучшает качество результатов. Мы также наблюдаем, что новый подход позволяет пользователю более эффективно управлять глубиной и шириной браузерного поиска, выполняя более сложные задачи. Эксперименты показывают, что наша модель улучшает эффективность и удобство использования, сравниваясь с традиционными BUA. ## Значимость Предлагаемая концепция может быть применена в сферах, где требуется сложный браузерный поиск с неоднозначными целями, таких как интеллектуальный анализ данных, электронная коммерция и интеллектуальные системы поддержки решений. Наш подход позволяет BUA быть более удобными и эффективными для пользователей, давая им большую свободу в

Abstract

Although browser-using agents (BUAs) show promise for web tasks and automation, most BUAs terminate after executing a single instruction, failing to support users' complex, nonlinear browsing with ambiguous goals, iterative decision-making, and changing contexts. We present a human-in-the-loop (HITL) conceptual framework informed by theories of human web browsing behavior. The framework centers on an iterative loop in which the BUA proactively proposes next actions and the user steers the browsing process through feedback. It also distinguishes between exploration and exploitation actions, enabling users to control the breadth and depth of their browsing. Consequently, the framework aims to reduce users' physical and cognitive effort while preserving users' traditional browsing mental model and supporting users in achieving satisfactory outcomes. We illustrate how the framework operates with hypothetical use cases and discuss the shift from manual browsing to interaction-driven browsing. We contribute a theoretically informed conceptual framework for BUAs.

Ссылки и действия