QAMO: Quality-aware Multi-centroid One-class Learning For Speech Deepfake Detection

#### Контекст В последние годы глубокоподделанные речи (deepfake speech) стали возрастающей угрозой в различных областях, включая медиа, финансы и правоохранительные структуры. Одним из ключевых вызовов в обнаружении таких поддельных речи является моделирование разнообразия в естественных речевых выражениях. Традиционные методы часто опираются на сингулярное представление естественных речи, что может упускать важные признаки, такие как качество звука. Это влияет на точность и общую эффективность систем обнаружения глубокоподделанных речи. Моделирование вариативности естественных речевых выражений, включая качество звука, может значительно улучшить точность и устойчивость таких систем. #### Метод Мы предлагаем QAMO (Quality-Aware Multi-Centroid One-Class Learning) — расширенную модель одноклассового обучения, которая использует несколько качество-осведомленных центроидов для представления естественных речевых выражений. Каждый центроид адаптируется для представления отдельного подпространства качества речи, что позволяет лучше адаптироваться к разнообразию в естественных речевых выражениях. Мы также вводим многоцентровый стратегию множественного оценивания, которая улучшает точность и уменьшает необходимость в качественных метках во время инференции. Модель QAMO оптимизируется с помощью машинного обучения, с целью достичь оптимального баланса между точностью и общей эффективностью в обнаружении глубокоподделанных речи. #### Результаты Мы проводили эксперименты на широко известных датасетах для сравнения QAMO с другими методами. Модель QAMO показала существенное улучшение в обнаружении глубокоподделанных речи по сравнению с традиционными одноклассовыми методами. В частности, на In-the-Wild датасете, QAMO достигла долей ошибок в 5.09% при использовании двух качество-осведомленных центроидов, что значительно превосходит результаты предыдущих систем. Это демонстрирует мощь QAMO в моделировании разнообразия естественных речевых выражений, что позволяет более точно и устойчиво отличать естественные речи от глубокоподделанных. #### Значимость QAMO может быть применена в различных сферах, где необходимо обнаруживать глубокоподделанные речи, включая безопасность медиа, модуляцию доверия в финансовых операциях и защиту голосовых систем. Эта модель предлагает несколько преимуществ, таких как улучшенная точность обнаружения, устойчивость к разнообразию в естественных речевых выражениях и эффективность в использовании ресурсов. Мы видим будущие направления исследований в расширении QAMO для обнаружения других типов глубокоподделанных медиа и улучшении ее работы в реальных условиях. #### В