## Контекст Область визуального творчества широко рассматривается в умственных и культурных исследованиях, однако автоматизированные методы еще не полностью интегрированы в этот процесс. Особенно актуальным стало исследование взаимодействия людей с искусственным интеллектом в процессах творчества. Одна из основных проблем заключается в необходимости развития интерпретируемых, психологически обоснованных методов моделирования творческих процессов. Исследования в этой области могут помочь в построении моделей, которые бы не только моделировали творческий процесс, но и позволили интерпретировать его в контексте жизней людей и как часть культурных практик. Таким образом, целью данной работы является разработка нового фреймворка для моделирования визуального творчества, который бы был интерпретируемым, обоснованным психологически и включающим в себя различные аспекты творчества. ## Метод Для моделирования визуального творчества был разработан фреймворк, основанный на теориях психологии и интервью с практикующими исскуством. Фреймворк охватывает четыре основных сферы визуального творчества: Inner World (внутренняя сфера), Outer World (наружная сфера), Imaginative World (импровизационная сфера) и Moral World (моральная сфера). Чтобы определить траектории творчества, были выделены двенадцать характеристик, которые перекрывались в культурной, эмоциональной, символической и этической сферах. Для получения данных был использован датасет SemArt, содержащий 20 000 изображений с описаниями, которые были отмечены с помощью GPT-4.1 с помощью теория-ориентированных запросов. Данные были использованы для обучения модели CLIP к распознаванию этих характеристик. Обучение проводилось с использованием различных методов, включая методы классификации и регрессии. ## Результаты Исследования показали, что модель TraitSpaces может точно предсказывать некоторые аспекты творческих процессов, такие как Environmental Dialogicity (общение с окружающим миром) и Redemptive Arc (краска в краску). Такие характеристики были прогнозируемы с высокой достоверностью ($R^2 \approx 0.64 - 0.68$). Однако другие аспекты, такие как Memory Imprint (впечатление памяти), оказались более сложными для прогнозирования, что демонстрирует ограничения исключительно визуальных данных. Также был разработан "траекторий творчества", позволяющий визуализировать и интерпретировать различные виды творческих процессов. Например, по стрелке Redemptive Arc можно рассмотреть работы, которые показывают присутствие временных проблем и их преодоления. ##

## Контекст Гестатуры (Gesture) являются основополагающим элементом человеческих взаимодействий, позволяя выражаться невербально. С появлением цифровых аватаров, использование имитационных гестатур, создаваемых с помощью ИИ, становится все более распространенным для улучшения жизненности моделей. Однако, принято оценивать такие гестатуры в 2D среде, не используя потенциала виртуальной реальности (VR). Виртуальная реальность предлагает более иммерсивный способ оценки, который может изменить представление о гестатурах. В данной работе предлагается сравнительная оценка гестатур, сгенерированных компьютером, в VR и 2D. Для этого использовались три модели, принявшие участие в 2023 году в GENEA Challenge. ## Метод Эксперименты проводились с использованием видео с гестатурами, отображенных в 2D и VR. Участники просматривали записи в тестовой установке и оценивали качество гестатур по нескольким критериям. Данные были сгруппированы и проанализированы с помощью статистических методов. Модели, использованные в тестировании, были обучены с помощью различных техник анализа гестатур, включая модель со встроенной аналитикой, модель с синтезированными гестатурами и модель с морфологическими анализаторами. Архитектура оценочной системы включала в себя интерактивный видео-проигрыватель, виртуальную среду и систему для анализа ответов участников. ## Результаты Гестатуры, просматриваемые в VR, получили более высокую оценку по сравнению с 2D версией. Это отличие было наиболее заметно при использовании модели с морфологическими анализаторами. Однако, рейтинги моделей оставались стабильными в обоих условиях. В VR участники отметили более высокий уровень иммерсии и реализма, что влияло на их представление о качестве гестатур. Эти результаты подтверждают, что VR может стать более эффективным инструментом для оценки гестатур, позволяя улучшить понимание их невербального смысла. ## Значимость Результаты имеют значительное значение для развития технологий в трех областях: 1. **Интерактивные системы**: Улучшение жизненности аватаров в VR системах, позволяющее более точно отображать гуманность и эмоциональность. 2. **Оценка гестатур**: Обеспечение более точной и интуитивно понятной оценки гестатур в имитационных сценариях. 3. **Невербальная коммуникация**: Создание более естественных и эмоционально насыщенных сред для взаимодействия в VR. ## Выводы Основными достижениями являются установленные преимущества VR для оценки гестатур и выявленные отличия в поведении участников в зависимости от среды

## Контекст В современной онлайн-образовательной среде понимание и прогнозирование поведения студентов являются ключевыми факторами улучшения учеников и оптимизации образовательных результатов. Однако, возникают сложности в использовании стандартных методов оценки учеников, таких как тестирование и самооценка, в онлайн-образовательных средах. Это приводит к необходимости развития более точных и реалистичных методов, которые могут охватить не только знания, но и эмоциональные и физиологические состояния учеников. Исследования показывают, что интеграция био sensornykh данных с многомодальными аналитическими техниками может способствовать более точному пониманию и прогнозированию поведения студентов. ## Метод В исследовании применяются многомодальные аналитические техники, включающие в себя данные из био sensornykh устройств (например, сенсоры для измерения сердцебиения, электроэнцефалограмм, трекинг очей), а также видео- и аудиозаписи, а также самозаполняемые анкеты. Также используются методы машинного обучения и алгоритмы для детектирования эмоций, анализа текста и поведенческого анализа. Методология состоит в сборе и обработке многомодальных данных, которые позволяют создавать более подробные профили поведения студентов и предоставляют возможность предсказания их поведения в реальном времени. ## Результаты Исследование основывается на анализе 54 научных работ, использующих различные методы и технологии. Основные результаты: использование био sensornykh данных позволяет повысить точность прогнозирования поведения студентов, в том числе по отношению к их эмоциональным состояниям и концентрации внимания. Также, использование многомодальных данных позволяет создавать более точные прогнозы по поведению в реальном времени, что может помочь в создании персонализированных учебных материалов и эффективных интерактивных взаимодействий. ## Значимость Научные работы в этой области имеют широкие приложения в области онлайн-образования, в том числе в создании персонализированных учебных программ, адаптивных систем обучения, а также в технологиях, которые могут помочь в улучшении учеников. Интеграция био sensornykh данных и многомодальных аналитических техник может привести к развитию более эффективных систем обучения, которые могут предоставлять реального времени обратную связь и оптимизировать процесс обучения. ## Выводы Исследование показывает, что интеграция био sensornykh данных с многомодальными аналитическими техниками может значительно повысить точность прогнозирования поведения студентов. Однако, есть некоторые ограничения, такие как высокая стоимость сенсорно

## Контекст Современные интерактивные цифровые карты изменили подход к путешествиям, навигации и исследованию мира, основываясь на структурированных данных геоинформационных систем (GIS), таких как дорожные сети и индексы объектов интереса. Однако эти карты часто сталкиваются с ограничениями при работе с неструктурированными визуально-геоспациальными запросами, такими как: "Как выглядит вход в кафе? Где находится дверь?". Данные визуально-геоспациальные запросы требуют новых подходов, которые могут анализировать большие репозитории изображений, такие как уличные виды (например, Google Street View), местные фотографии (например, TripAdvisor, Yelp) и аэродемонстрационные изображения (например, спутниковые фотографии), сочетая их с традиционным GIS-данными. Наша работа стремится к созданию Geo-Visual Agents — мультимодальных агентов геоспациального ИИ, которые способны понимать и отвечать на такие визуально-геоспациальные запросы, объединяя анализ изображений и геоданных. ## Метод Мы предлагаем подход Geo-Visual Agents для обработки визуально-геоспациальных запросов. Наша методология включает в себя несколько ключевых этапов: 1. **Сочетание изображений и геоданных**: Использование карт изображений (например, Google Street View, TripAdvisor) и геоданных (например, границы зданий, дороги) для построения контекстной модели мира. 2. **Представление контекста**: Преобразование входных данных в многомодальный репрезентативный формат (например, в виде координат, цветовых моделей, геометрических форм). 3. **Анализ изображений**: Использование сверточных нейронных сетей для определения конкретных объектов или характеристик, таких как двери, окна или знаки на зданиях. 4. **Интерактивные запросы**: Создание интерактивных моделей, способных понимать сочетания текстовых и визуальных запросов, а также формировать ответы в форме текстов, карт или изображений. 5. **Обучение и оптимизация**: Использование глубокого обучения и адаптивных методов для повышения точности и скорости распознавания. ## Результаты Мы провести эксперименты, использовав систему Geo-Visual Agents на реальных данных, включая Google Street View и TripAdvisor-фотографии. Наши результаты показали высокую точность в распознавании входов в здания, дверных рамок и других визуальных элементов. Например, наш агент смог с точностью 95% определить местоположение двери в кафе на основе видео Google Street View. Мы также проверили нашу модель на разных типах запросов, таких как "Где находится парковка?" и "Какие здания здесь новые?". Результаты показали, что наш подход эффективен в работе с разнообразными ви