Addressing Gradient Misalignment in Data-Augmented Training for Robust Speech Deepfake Detection

## Контекст Одна из основных проблем в области глубокого подделывания речи (Deepfake Detection, DFD) заключается в том, что модели должны быть устойчивы к различным условиям речи и способам модификации звука. Данные для обучения моделей часто аugmented (усилены), чтобы улучшить их общеуниверсальность. Однако во время тренировки модели могут возникать конфликты между градиентами, полученными от исходных данных и их усиленных версий. Эти конфликты приводят к неэффективным обновлениям параметров модели, что может замедлить обучение и привести к плохим результатам. В этом исследовании решается проблема недостаточной совместимости градиентов в процессе обучения моделей к Deepfake Detection в условиях использования данных с аugmentation. ## Метод Мы предлагаем **двухпутной процесс обучения** с использованием оригинальных и усиленных версий звуковых данных. Оригинальные данные и их усиленные версии проходят через два отдельных пути обучения. Затем мы сравниваем и анализируем направления градиентов, полученных от двух версий аудио, чтобы выявить и устранить конфликты. Это позволяет привести направление градиентов к одному общему направлению, уменьшая количество конфликтов и улучшая процесс обучения. Метод был применен к модели Deepfake Detection в реальных условиях (In-the-Wild). ## Результаты Мы провели эксперименты на двух разных наборах данных: VCTK и In-the-Wild. Мы сравнили наш метод с базовой моделью, которая не использует метод алмагентезации градиентов. Результаты показали, что наш метод уменьшает количество эпох, необходимых для достижения оптимального результата, и повышает производительность модели. На In-the-Wild датасете, мы достигли уменьшения **Equal Error Rate (EER)** на **18.69%**, что является значительным улучшением по сравнению с базовой моделью. ## Значимость Наш метод имеет большое значение для области глубокого подделывания речи, так как он улучшает устойчивость моделей к разнообразным аудио-усилениям. Это позволяет моделям быть более точными и надежными в реальных условиях. Метод может быть применен в системах аудио-анализа для обнаружения поддельных звуковых файлов, в том числе в системах безопасности и модули для проверки аутентичности звуковых файлов в цифровых платформах. ## Выводы Мы успешно разработали двухпутную систему обучения с аугментированными данными для Deepfake Detection, которая устраняет конфликты между градиентами и улучшает обучение моделей. Наши результаты показали, что этот подход может быть эффективным для повышения точности и устойчивости моделей к разным аудио-усилениям. Мы планируем дальнейшее продолжение исследований в области улучшения моделей Deepfake Detection с использованием разных методов аугментации и сравнения их эфф