Interactive Program Synthesis for Modeling Collaborative Physical Activities from Narrated Demonstrations

## Контекст Учить системы выполнять физические задачи является давней целью в области Интерфейсов человека-компьютера (HCI). Однако большая часть предыдущих исследований сосредоточилась на неколлективных физических действиях. Коллективные задачи добавляют значительную сложность, так как система должна не только понять действия пользователя, но и предположения, которые этот пользователь делает о поведении своего коллеги. Это свойство сделает процесс взаимодействия взаимозависимым и неоднозначным. Решением этой проблемы может стать представление системного поведения в виде синтезированных программ, которые пользователи могут просматривать, исправлять и корректировать. Мы предлагаем подход, в котором пользователи могут учить систему коллективные физические задачи с помощью нотации действий через естественный язык, не требуя от них знания программирования. Наша цель — создать систему, которая позволит пользователям легко понимать, корректировать и взаимодействовать с системой для достижения коллективных целей. ## Метод Мы представляем обучение системы физических задач как задачу синтеза программ. Наша система представляет поведение в виде программ, которые могут быть легко редактированы пользователем. Мы используем нотацию, основанную на естественном языке, чтобы пользователи могли не только учить систему, но и корректировать ее поведение. Наша архитектура использует многомодальное взаимодействие, где пользователи могут общаться с системой через естественный язык. Мы акцентируем внимание на том, как система может представлять свой процесс обучения пользователям в простой и понятной форме. ## Результаты Мы провести эксперимент с 20 пользователями, которые пытались учить систему игровые тактики в мультиплеерном футболе. 70% участников (14 из 20) смогли улучшить программу, чтобы она соответствовала их намерениям, а 90% (18 из 20) нашли процесс корректировки программы простым и понятным. Эксперимент показал, что пользователи могут легко корректировать систему, но также выявил некоторые сложности в представлении процесса обучения в виде программ и в процессе обучения коллективных физических задач. ## Значимость Наш подход имеет широкие возможности для применения в области обучения систем коллективным физическим задачам. Он позволяет пользователям легко интерпретировать и корректировать поведение системы, что может быть полезно в различных областях, таких как обучение роботов, виртуальные реальности и другие приложения, требующие взаимодействия человека и системы. Мы также отмечаем, что наш подход может сильно повлиять на область HCI