## Контекст Исследование пианиновой игры является ключевым направлением в анализе мультимодальных данных, так как это сложная физиологическая и музыкальная деятельность, заключающаяся в комбинации физических движений и акустических результатов. Несмотря на возрастающий интерес к анализу пианиновой игры с мультимодальным подходом, значительная проблема заключается в сложности получения больших многомодальных наборов данных. Это ограничивает прогресс в развитии технологий для анализа и моделирования пианиновой игры. Для решения этой проблемы предлагается интегрированная веб-система, которая упрощает процесс сбора и анализа мультимодальных данных в сфере пианиновой игры. ## Метод Двух веб-инструментов, представленных в этой работе, лежит современная методология анализа пианиновой игры. **PiaRec (Piano Recording and Annotation)** предоставляет интерфейс для синхронного захвата аудио, видео, MIDI и метаданных исполнения. **ASDF (Annotating Speed, Dynamics, and Fingering)** предлагает интеллектуальный интерфейс для эффективной аннотации жесткости, динамики и пальцевого упорядочивания (fingering) на основе визуальных данных. Оба инструмента интегрированы в единую веб-платформу, обеспечивающую простой доступ к инструментам и упрощающую процесс сбора и анализа данных. ## Результаты Используя этот подход, был проведен эксперимент по сбору набора данных пианиновой игры, включающий аудио, видео, MIDI-данные и метаданные исполнителя. Эксперимент показал, что **PiaRec** эффективно захватывает все необходимые данные, обеспечивая согласованность и качество. Также была проведена интенсивная аннотация жестов и динамики исполнителей с помощью **ASDF**. Эти результаты позволили получить высококачественный и многомодально аннотированный набор данных, который может быть использован для предсказания и моделирования пианиновой игры. ## Значимость Предлагаемая платформа представляет собой значительный прорыв в сфере анализа пианиновой игры. Она может использоваться в области компьютерного зрения для распознавания жестов, в музыкальном анализе для понимания динамики и тембра, а также в обучении искусственных нейронных сетей для предсказания имитации пианиновой игры. Это прогресс в анализе музыкальных выступлений, позволяющий создавать более точные модели для искусственного интеллекта в музыке. ## Выводы Предложенная веб-система, состоящая из **PiaRec** и **ASDF**, является эффективным инструментом для сбора и анализа мультимодальных данных в сфере пианиновой игры. Она упрощает и ускоряет процесс сбора данных, обеспечивая высококачественные мультимодальные аннотации. Будущие исследования буду

Аудио deepfakes становятся все более распространенными, создавая значительные проблемы для доверия в цифровых коммуникациях. Несмотря на прогресс в области их обнаружения, подтверждение аудио deepfakes до уровня конкретной генерирующей модели остается недооцененной, но крайне важной задачей. В статье предлагается LAVA (Layered Architecture for Voice Attribution) — расширенная архитектура, основанная на автоэнкодере, для обнаружения deepfakes и их привязки к конкретным моделям. Архитектура включает две классификаторы: Audio Deepfake Attribution (ADA) для определения технологии генерации и Audio Deepfake Model Recognition (ADMR) для идентификации конкретной модели. Для повышения устойчивости к условиям open-set внедрен механизм ограничения доверия. Результаты экспериментов на ASVspoof2021, FakeOrReal и CodecFake показали высокую точность: F1-score ADA превышает 95%, а ADMR — 96.31%. Дополнительные испытания подтвердили высокую надежность LAVA. Фреймворк представляет собой новую линию развития аудио deepfake attribution с подтверждённой эффективностью на публичных бенчмарках.