Empowering Children to Create AI-Enabled Augmented Reality Experiences
2508.08467v1
cs.HC, cs.AI, cs.GR, cs.PL
2025-08-14
Авторы:
Lei Zhang, Shuyao Zhou, Amna Liaqat, Tinney Mak, Brian Berengard, Emily Qian, Andrés Monroy-Hernández
Резюме на русском
####################
## Контекст
####################
В последние годы AI-enabled AR технологии набирают популярность, особенно в области образования. Однако, несмотря на их потенциал, эти технологии чаще всего используются в качестве средств потребления, а не создания. Это ограничивает возможности детей для компетентного взаимодействия с технологиями и их потенциального творческого выражения. Проблема заключается в том, что дети, как правило, используют предопределенные виртуальные среды и не могут настраивать их под свои потребности или творческие идеи. Это способствует ограниченному развитию их творческих и программирующих навыков. Было бы значительным улучшением, если бы дети могли не только потреблять AI-enabled AR технологии, но и творить, превращая себя в активных создателей.
####################
## Метод
####################
Для решения этой проблемы предлагается Capybara — AR-ориентированная и AI-движок, предоставляющий детям возможность творить в виртуальной реальности. Основной функционал Capybara — это возможность создания и анимации 3D-персонажей, которые могут быть оверлеянными на физическую среду. Дети могут создавать эти персонажи и аксессуары, используя текст-в-3D-генерирующие AI-модели. Для анимации используется автоматический механизм "риггинга" и технология тела-трекинга. Кроме того, Capybara включает в себя видю-бейсные AI-модели, позволяющие детям программировать взаимодействия между виртуальными персонажами и физическими объектами. Это решение позволяет детям творить в интерактивной среде, связывающей виртуальные и физические пространства.
####################
## Результаты
####################
В ходе экспериментов, проведенных с участием 20 детей из США и Аргентины, было показано, что Capybara позволяет детям творить и программировать виртуальные среды с высокой степенью выразительности. За подробностями результатов можно обратиться к оригинальной статье.
####################
## Значимость
####################
Capybara может применяться в различных областях, включая образовательные программы, творческие среды, игровые приложения. Оно дает детям возможность раскрыть свой творческий потенциал, научиться программированию и пониманию технологий AI. Это способствует раннему развитию цифровых навыков, мотивирует детей к инновационным решениям и способствует их участию в создании будущих технологий.
####################
## Выводы
####################
Capybara доказала свою эффективность в том, что она позволяет детям творить в сфере AI-enabled AR технологий. Это не только вдохновляет детей на творчество, но и внедряет в них базовые навыки в программировании и понимании AI-технологий. Будущие исследования б
Abstract
Despite their potential to enhance children's learning experiences,
AI-enabled AR technologies are predominantly used in ways that position
children as consumers rather than creators. We introduce Capybara, an AR-based
and AI-powered visual programming environment that empowers children to create,
customize, and program 3D characters overlaid onto the physical world. Capybara
enables children to create virtual characters and accessories using text-to-3D
generative AI models, and to animate these characters through auto-rigging and
body tracking. In addition, our system employs vision-based AI models to
recognize physical objects, allowing children to program interactive behaviors
between virtual characters and their physical surroundings. We demonstrate the
expressiveness of Capybara through a set of novel AR experiences. We conducted
user studies with 20 children in the United States and Argentina. Our findings
suggest that Capybara can empower children to harness AI in authoring
personalized and engaging AR experiences that seamlessly bridge the virtual and
physical worlds.