📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 82
Последнее обновление: сегодня
Авторы:
Hoan My Tran, Damien Lolive, Aghilas Sini, Arnaud Delhay, Pierre-François Marteau, David Guennec
#### Контекст
Современные технологии глубокого подделывания речи (deepfake) на основе аудио, основанные на развитии генерирующего искусственного интеллекта, позволяют создавать естественно синтезированный голос, который трудно отличить от реального. Эти технологии имеют большое потенциальное применение в области инноваций и улучшения жизни, но одновременно представляют серьезную угрозу в сферах финансов, безопасности и правопорядка. Несанкционированное использование таких технологий может привести к мошенничеству, краже личностных данных и воровству идентификационными данными. Несмотря на развитие методов обнаружения deepfake, существуют проблемы с общим применением моделей к неизвестным атакам и языкам. Мы предлагаем новую архитектуру, основанную на механизме управления признаками (gating mechanism), чтобы улучшить универсальность и точность обнаружения deepfake.
#### Метод
Предлагаемая модель включает в себя несколько слоёв, адаптированных для обнаружения deepfake-аудио. В качестве фронт-энда используется модель XLS-R, которая эффективно извлекает признаки из аудиосигнала. Далее, мы развиваем уникальный механизм управления признаками, используя Multi-kernel gated Convolution (MultiConv), позволяющий охватить как местные, так и глобальные характеристики речи. Наша модель также включает в себя центрированный метрический анализ (Centered Kernel Alignment, CKA), который улучшает локальное и глобальное разделение признаков. Этот метод позволяет каждому слою из MultiConv получать более разнообразные и точные представления речи. Благодаря этому, модель становится более высшеуровневой и универсальной в детекции различных deepfake-атак.
#### Результаты
Мы провели эксперименты на нескольких бенчмарк-коллекциях, включая валидные данные для обучения и тестирования. Наши результаты показывают, что модель превосходит текущие решения в области deepfake-аудио, удлиняя ценность её применения в реальных условиях. Мы также проверили нашу модель на многоязычных данных, чтобы продемонстрировать её генерализуемость и устойчивость к неизвестным атакам. Результаты показали, что наши достижения значительно превосходят остальные модели, которые были сравнивались в этих условиях. Это означает, что наш подход может быть эффективно применён для обнаружения широкого спектра deepfake-атак.
#### Значимость
Модель может быть применена в различных областях, включая безопасность информации, мониторинг безопасности, финансы и правопорядок. Она предлагает более высокую точность и генерализуемость по сравнению с предыдущими моделями. Одним из ключевых преимуществ является повышенная ценность обнаружения deepfake в многоя
Annotation:
Recent advancements in generative AI, particularly in speech synthesis, have
enabled the generation of highly natural-sounding synthetic speech that closely
mimics human voices. While these innovations hold promise for applications like
assistive technologies, they also pose significant risks, including misuse for
fraudulent activities, identity theft, and security threats. Current research
on spoofing detection countermeasures remains limited by generalization to
unseen deepfake attacks and lan...