Understanding Mode Switching in Human-AI Collaboration: Behavioral Insights and Predictive Modeling

2509.20666v1 cs.HC, cs.AI 2025-09-26
Авторы:

Avinash Ajit Nargund, Arthur Caetano, Kevin Yang, Rose Yiwei Liu, Philip Tezaur, Kriteen Shrestha, Qisen Pan, Tobias Höllerer, Misha Sra

Резюме на русском

## Контекст В последние годы рост интеллектуальных систем, объединяющих усилия человека и искусственного интеллекта (AI), вызвал вопросы о том, как эти системы могут лучше подстраиваться под потребности пользователей. В области робототехники, например, возможность переключения между высоким и низким уровнем управления роботом может повысить эффективность и удобство. Однако существуют проблемы с определением моментов и причин переключений, а также с разработкой моделей, которые были бы в состоянии предсказать эти переключения в реальном времени. Эта работа направлена на изучение динамики таких переключений в ходе последовательных решений, используя модельную систему шахматной игры, чтобы получить понятные и важные для практики результаты. ## Метод Исследование основывается на моделировании поведения человека и AI в ситуациях, требующих переключения уровней управления. Рассматривается игровая система, где участники могут выбирать между ролями "руки" (решающий) и "мозга" (рекомендательный AI). Использовались данные по 400 решениям пользователей в ходе шахматных игр, включая геометрию взгляда, эмоциональные отзывы и сложность подзадач. Методы анализа включали статистическое сравнение поведения до и после переключения управления, а также методы машинного обучения для построения модели, предсказывающей моменты переключения. ## Результаты Изученные данные показали существенные различия в поведении перед и после переключения уровней управления. Например, участники, переключающиеся на высокий уровень управления, проявляли более централизованный взгляд и уделяли больше внимания сложным подзадачам. Анализ эмоциональных отзывов также показал, что уровень удовлетворения относительно AI-компонента влияет на предпочтения пользователей. Используя эти наблюдения, авторы разработали легковесную модель, которая предсказывала моменты переключений с достаточно высоким уровнем достоверности ($F1 = 0.65$). ## Значимость Результаты имеют значительное значение для развития систем управления, где требуется динамическое переключение уровней управления в зависимости от контекста. Модель, разработанная в рамках этой работы, может быть использована для улучшения таких систем, таких как роботы-сургеоны, системы помощи в вождении или интерактивные игры. Это также открывает возможность для более тонкого понимания человеческого поведения в ситуациях, когда человек и AI работают вместе. ## Выводы Результаты демонстрируют возможность анализировать и предсказывать моменты переключения уровней управления в ходе последовательных решений. Будущие иссле

Abstract

Human-AI collaboration is typically offered in one of two of user control levels: guidance, where the AI provides suggestions and the human makes the final decision, and delegation, where the AI acts autonomously within user-defined constraints. Systems that integrate both modes, common in robotic surgery or driving assistance, often overlook shifts in user preferences within a task in response to factors like evolving trust, decision complexity, and perceived control. In this work, we investigate how users dynamically switch between higher and lower levels of control during a sequential decision-making task. Using a hand-and-brain chess setup, participants either selected a piece and the AI decided how it moved (brain mode), or the AI selected a piece and the participant decided how it moved (hand mode). We collected over 400 mode-switching decisions from eight participants, along with gaze, emotional state, and subtask difficulty data. Statistical analysis revealed significant differences in gaze patterns and subtask complexity prior to a switch and in the quality of the subsequent move. Based on these results, we engineered behavioral and task-specific features to train a lightweight model that predicted control level switches ($F1 = 0.65$). The model performance suggests that real-time behavioral signals can serve as a complementary input alongside system-driven mode-switching mechanisms currently used. We complement our quantitative results with qualitative factors that influence switching including perceived AI ability, decision complexity, and level of control, identified from post-game interview analysis. The combined behavioral and modeling insights can help inform the design of shared autonomy systems that need dynamic, subtask-level control switches aligned with user intent and evolving task demands.

Ссылки и действия