Empowering Children to Create AI-Enabled Augmented Reality Experiences

2508.08467v1 cs.HC, cs.AI, cs.GR, cs.PL 2025-08-14
Авторы:

Lei Zhang, Shuyao Zhou, Amna Liaqat, Tinney Mak, Brian Berengard, Emily Qian, Andrés Monroy-Hernández

Резюме на русском

#################### ## Контекст #################### В последние годы AI-enabled AR технологии набирают популярность, особенно в области образования. Однако, несмотря на их потенциал, эти технологии чаще всего используются в качестве средств потребления, а не создания. Это ограничивает возможности детей для компетентного взаимодействия с технологиями и их потенциального творческого выражения. Проблема заключается в том, что дети, как правило, используют предопределенные виртуальные среды и не могут настраивать их под свои потребности или творческие идеи. Это способствует ограниченному развитию их творческих и программирующих навыков. Было бы значительным улучшением, если бы дети могли не только потреблять AI-enabled AR технологии, но и творить, превращая себя в активных создателей. #################### ## Метод #################### Для решения этой проблемы предлагается Capybara — AR-ориентированная и AI-движок, предоставляющий детям возможность творить в виртуальной реальности. Основной функционал Capybara — это возможность создания и анимации 3D-персонажей, которые могут быть оверлеянными на физическую среду. Дети могут создавать эти персонажи и аксессуары, используя текст-в-3D-генерирующие AI-модели. Для анимации используется автоматический механизм "риггинга" и технология тела-трекинга. Кроме того, Capybara включает в себя видю-бейсные AI-модели, позволяющие детям программировать взаимодействия между виртуальными персонажами и физическими объектами. Это решение позволяет детям творить в интерактивной среде, связывающей виртуальные и физические пространства. #################### ## Результаты #################### В ходе экспериментов, проведенных с участием 20 детей из США и Аргентины, было показано, что Capybara позволяет детям творить и программировать виртуальные среды с высокой степенью выразительности. За подробностями результатов можно обратиться к оригинальной статье. #################### ## Значимость #################### Capybara может применяться в различных областях, включая образовательные программы, творческие среды, игровые приложения. Оно дает детям возможность раскрыть свой творческий потенциал, научиться программированию и пониманию технологий AI. Это способствует раннему развитию цифровых навыков, мотивирует детей к инновационным решениям и способствует их участию в создании будущих технологий. #################### ## Выводы #################### Capybara доказала свою эффективность в том, что она позволяет детям творить в сфере AI-enabled AR технологий. Это не только вдохновляет детей на творчество, но и внедряет в них базовые навыки в программировании и понимании AI-технологий. Будущие исследования б

Abstract

Despite their potential to enhance children's learning experiences, AI-enabled AR technologies are predominantly used in ways that position children as consumers rather than creators. We introduce Capybara, an AR-based and AI-powered visual programming environment that empowers children to create, customize, and program 3D characters overlaid onto the physical world. Capybara enables children to create virtual characters and accessories using text-to-3D generative AI models, and to animate these characters through auto-rigging and body tracking. In addition, our system employs vision-based AI models to recognize physical objects, allowing children to program interactive behaviors between virtual characters and their physical surroundings. We demonstrate the expressiveness of Capybara through a set of novel AR experiences. We conducted user studies with 20 children in the United States and Argentina. Our findings suggest that Capybara can empower children to harness AI in authoring personalized and engaging AR experiences that seamlessly bridge the virtual and physical worlds.

Ссылки и действия