Bona fide Cross Testing Reveals Weak Spot in Audio Deepfake Detection Systems

## Контекст Современное развитие технологий глубокого обучения позволило создавать аудио-глубокие подделки (audio deepfakes, ADD), которые могут синтезировать речь, приближающуюся к речи человека. Эти технологии могут применяться в полезных целях, таких как аудио-синтезаторы или лингвистические исследования, но также имеют потенциал для злоупотребления, в том числе в области мошенничества и угроз безопасности. Однако существуют серьезные проблемы в оценке качества систем обнаружения таких подделок. Оценка ADD-систем часто основывается на относительном количестве ошибок (EER), который может быть влиянтен в зависимости от размера и разнообразия данных. Более того, большинство данных, используемых для тестирования, являются ограниченными в своем разнообразии, в том числе в пространстве речи бона фиде (bona fide speech). Это ограничивает общую надежность и применимость этих систем в реальной жизни. ## Метод Чтобы улучшить надежность и равенство оценки ADD-систем, мы предлагаем новую методологию, называемую **bona fide cross-testing**. Она включает в себя проверку систем на четырнадцати часах данных, содержащих различные виды речи бона фиде (например, речь в разных стилях и условиях). Мы проводим тщательный анализ поведения систем при разных условиях и измеряем различные метрики, включая EER. Эта методика позволяет учесть различия в качестве данных и дает более сбалансированный взгляд на производительность систем. Кроме того, мы создали новую базу данных, доступную для использования в будущих исследованиях. ## Результаты Мы проверили нашу методологию на более чем 150 моделей ADD, оценив их поведение на различных типах речи бона фиде. Наши результаты показали, что применение bona fide cross-testing дает более равномерную и надежную оценку, чем традиционные методы. В частности, она уменьшает влияние большого количества данных от определенных типов речи на оценку общей производительности. Эта процедура также повышает чувствительность к проблемам, связанным с разными условиями речи, что делает ADD-системы более надежными для реальных задач. ## Значимость Наше исследование имеет значительное значение для развития добросовестных систем обнаружения глубоких подделок аудио. Оно может быть применено в области безопасности информации, мониторинга носителя речи и других полей, где важно различать реальную речь от глубоких подделок. Мы также выделили, что наш подход может повысить равенство и разнообразие в оценке систем, что вносит вклад в улучшение общей надежности и достоверности подобных технологий. ## Выводы В результате наших исследований была предложена новая архитектура оценки ADD