Improving Out-of-Domain Audio Deepfake Detection via Layer Selection and Fusion of SSL-Based Countermeasures

#### Контекст В последние годы аудио-дзенфейки (deepfakes) стали востребованным средством для мошенничества, преступлений и дезориентации. Одним из главных проблем, стоящих перед системами выявления таких поддельных аудиозаписей, является их нехватка универсальности. Многие алгоритмы обучаются на ограниченных наборах данных и не могут грамотно обобщаться на неизвестные условия. Это проблема, известная как "выход за пределы домена" (out-of-domain, OOD), является ключевой целью этого исследования. Особенно актуальной она становится, когда системы обучаются на ограниченных наборах, но должны работать в разнообразных средах, где звуковые свойства могут существенно отличаться. #### Метод Для повышения универсальности системы использовались семь моделей самостоятельного самостоятельного обучения (SSL), включая Wav2Vec 2.0, HuBERT и Data2Vec. Модели были заморожены в момент использования, чтобы избежать тяжелого обучения и ускорить эксперименты. Для оценки их универсальности, анализировались уровни слоев моделей, определяя наиболее полезные для дезинфейков-обнаружения. Для сравнения применялась топология аудио-пулинга, включая однослойный и многослойный подходы. Также исследовались различные стратегии суммирования результатов, включая индивидуальные модели и их комбинации. #### Результаты На основе экспериментов с 4 различными тестовыми корпусами были выявлены особенности каждой модели SSL. Было установлено, что лучший слой для обнаружения дзенфейков может отличаться в зависимости от конкретной модели. Например, для Wav2Vec 2.0 это был 12-й слой, в то время как для HuBERT — 10-й. Однослойный подход показал хорошие результаты, но лучше всего себя проявил многослойный подход с автоматическим выделением наиболее подходящих слоев. Это позволило уменьшить количество параметров системы до 80%. Был также проанализирован эффект суммирования результатов нескольких моделей, что существенно повысило универсальность системы, особенно при работе с OOD-данными. #### Значимость Результаты этих исследований могут быть применены в области безопасности информации, аудио-анализа и видеоредактирования. Технология позволяет повысить точность и универсальность систем выявления звуковых подделок. Благодаря использованию предобученных моделей SSL, решение становится эффективным и не требует долгих и ресурсоемких обучающих процессов. Это привлекательно для использования в реальном времени или при ограниченных ресурсах. #### Выводы Исследование показало, что выбор наиболее подходящего слоя и использование многослойной