## Контекст С появлением технологий искусственного интеллекта (AI) в последние годы, включая глубокое обучение, возникло много AI-генерируемого контента, такого как звуковые deepfakes. Эти звуковые deepfakes могут способствовать мошенничеству, предубеждениям и дезинформации, что делает их детекцию крайне важной. Однако существующие модели детекции звуковых deepfakes часто оцениваются на малых наборах данных, что ограничивает их обобщение на реальные условия. Это создает необходимость в разработке широкой базы данных и методов оценки моделей детекции. Мы предлагаем AUDDT — Audio Unified Deepfake Detection Benchmark Toolkit, который автоматизирует оценку предварительно обученных моделей детекции в 28 различных датасетах, чтобы дать пользователям четкий взгляд на преимущества и недостатки их моделей. ## Метод AUDDT — это открытое исходное программное обеспечение, которое автоматизирует оценку моделей детекции звуковых deepfakes на 28 различных датасетах. Этот тест-кейс позволяет пользователям проверить предварительно обученные модели на различных условиях и типах мошенничества. Мы создали широкий набор звуковых датасетов, включающий 28 различных групп, таких как различные типы мошенничества, глубина модификации, качество звука и др. Наша методология включает выбор метрик оценки и разработку автоматизированного процесса для сравнения моделей на этих датасетах. Это позволяет пользователям оценить модели во время работы, сравнить результаты и получить подробный анализ производительности модели. ## Результаты Мы проводили ряд экспериментов с помощью широко используемой предварительно обученной модели детекции звуковых deepfakes. Мы протестировали модель на внутренних и внешних наборах данных, чтобы продемонстрировать различия в производительности в зависимости от типа мошенничества и уровня модификации. Результаты показали, что модель показывает высокую точность в определении глубоко модифицированных аудио, но имеет некоторые недостатки в определении менее заметных мошенничеств. Мы также проанализировали различные типы звуковых датасетов, показав, что качество данных и размер датасета могут существенно влиять на результаты. ## Значимость AUDDT может быть использован в различных областях, включая безопасность информации, медиа-анализ и научное исследование. Он позволяет выявить слабые места в моделях детекции, чтобы улучшить их. Наша система предоставляет разработчикам инструмент для определения наиболее уязвимых типов мошенничества и для работы над их преодолением. Это может стать ключевым инструментом для создания надежных моделей, которые могут быть применены в реальных

## Контекст **Speech Continuation (SC)** — это задача генерирования когнетивно согласованных и контекстуально подходящих продлений речи с учетом исходной фразы и аудиоконтекста. Она отличается тем, что ограничена одним аудиопотоком, что позволяет более точно проверить модели голоса на наличие социально релевантных биасосов. Несмотря на прогресс в области глубокого обучения, модели голоса часто склонны к стереотипам и неравенствам. Это влияет на их удобочитаемость и точность в реальном мире, особенно в контексте языковой идентификации и социальной нормы. **Speak Your Mind** — первое систематическое исследование, которое изучает эти биасы в задаче SC, определяя, как гендер и тип фонота (пушистый, хриплый, конечный хрип) влияют на продолжающиеся фразы. Это позволяет выявить проблемы со специальными моделями речи, включая представления о женщинах, гомофониях и типе голоса. ## Метод **Speak Your Mind** использует множество метрик для оценки продолжений речи: **semantic fidelity** (точность содержания), **coherence** (логичность), **speaker similarity** (похожесть на голос), и **voice quality preservation** (сохранение голоса). Три модели голоса исследуются: **SpiritLM (base и expressive)**, **VAE-GSLM**, и **SpeechGPT**. Модели обучаются на разных данных, чтобы сравнить гендерные и типы голоса, а также подсчитывается продолжение слов, сложность текста и звуков. Используется большое количество данных с разными типами голоса, чтобы протестировать качество продолжений и их соответствие оригинальному голосу. ## Результаты Результаты показывают, что все модели сталкиваются с проблемами, такими как **speaker similarity** и **semantic fidelity**, особенно при продолжении голоса женщин. Женщины оказываются более чувствительными к **voice quality bias** — их фоноты чаще возвращаются к умолятельному голосу, чем у мужчин. Модели также оказались чувствительными к гендеру в текстовых метриках, таких как **agency** (агентность) и **sentence polarity** (положительность предложений). Например, **VAE-GSLM** показал более высокую точность в продолжении, но также демонстрировал более сильные гендерные эффекты в тексте. В целом, результаты показывают, что **SC** — это эффективный инструмент для проверки социальных биасов в моделях речи. ## Значимость **Speak Your Mind** открывает новые пути для исследований социальных биасов в моделях речи. Он показывает, что SC может быть использован для выявления и изучения гендерных и типов голоса, что может быть полезно для создания более нейтральных моделей. Эта работа также открывает возможности для дальнейшего исследования звуковой и текстовой структуры речи, которая может помочь в улучшении **voice foundation models**. Будущие исследования могут более глубоко изучить