## Контекст С появлением технологий искусственного интеллекта (AI) в последние годы, включая глубокое обучение, возникло много AI-генерируемого контента, такого как звуковые deepfakes. Эти звуковые deepfakes могут способствовать мошенничеству, предубеждениям и дезинформации, что делает их детекцию крайне важной. Однако существующие модели детекции звуковых deepfakes часто оцениваются на малых наборах данных, что ограничивает их обобщение на реальные условия. Это создает необходимость в разработке широкой базы данных и методов оценки моделей детекции. Мы предлагаем AUDDT — Audio Unified Deepfake Detection Benchmark Toolkit, который автоматизирует оценку предварительно обученных моделей детекции в 28 различных датасетах, чтобы дать пользователям четкий взгляд на преимущества и недостатки их моделей. ## Метод AUDDT — это открытое исходное программное обеспечение, которое автоматизирует оценку моделей детекции звуковых deepfakes на 28 различных датасетах. Этот тест-кейс позволяет пользователям проверить предварительно обученные модели на различных условиях и типах мошенничества. Мы создали широкий набор звуковых датасетов, включающий 28 различных групп, таких как различные типы мошенничества, глубина модификации, качество звука и др. Наша методология включает выбор метрик оценки и разработку автоматизированного процесса для сравнения моделей на этих датасетах. Это позволяет пользователям оценить модели во время работы, сравнить результаты и получить подробный анализ производительности модели. ## Результаты Мы проводили ряд экспериментов с помощью широко используемой предварительно обученной модели детекции звуковых deepfakes. Мы протестировали модель на внутренних и внешних наборах данных, чтобы продемонстрировать различия в производительности в зависимости от типа мошенничества и уровня модификации. Результаты показали, что модель показывает высокую точность в определении глубоко модифицированных аудио, но имеет некоторые недостатки в определении менее заметных мошенничеств. Мы также проанализировали различные типы звуковых датасетов, показав, что качество данных и размер датасета могут существенно влиять на результаты. ## Значимость AUDDT может быть использован в различных областях, включая безопасность информации, медиа-анализ и научное исследование. Он позволяет выявить слабые места в моделях детекции, чтобы улучшить их. Наша система предоставляет разработчикам инструмент для определения наиболее уязвимых типов мошенничества и для работы над их преодолением. Это может стать ключевым инструментом для создания надежных моделей, которые могут быть применены в реальных

## Контекст В последние годы опытные бо LALMs (Large Audio-Language Models) показали сильный результат в различных задачах понимания аудио, таких как перевод речи и аудио-вопросы-ответы. Однако, несмотря на эти достижения, они сталкиваются с значительными ограничениями при работе с задачами рассуждения в аудио, особенно в сложных акустических сценариях. Например, в таких ситуациях необходимы акустические инструменты, такие как убирание шума, изоляция источников звука и точное временное выравнивание. Несмотря на то, что эти инструменты могут быть полезны, современные LALMs не обладают доступом к ним. Эта проблема становится более важной, так как повышение уровня звуковой природности и объема сложных аудиоданных, с которыми сталкиваются пользователи, поднимает требования к моделям в области системы рассуждения в аудио. Для решения этой проблемы мы предлагаем Thinking-with-Sound (TwS), новую фреймворк, которая дает LALMs возможность применять Audio CoT (Audio Chain-of-Thought), комбинируя языковое рассуждение с анализом в реальном времени в аудиодомене. Это предложение отличается от существующих подходов, где аудио трактуется как статический ввод, и позволяет моделям активно "рассуждать с помощью звука", выполняя цифровое создание числовых данных и дальнейшую обработку через многомодальное рассуждение. ## Метод Предлагаемая методология, Thinking-with-Sound (TwS), включает в себя многоуровневый подход для комбинирования языкового и аудио-рассуждения. В своей основе TwS имеет архитектуру, которая позволяет LALMs активно выполнять рассуждение в аудиодомене, используя набор акустических инструментов, таких как источник сегментации, шумоподавление и временное выравнивание. Эти инструменты интегрируются в модель непосредственно во время работы, чтобы обеспечить наибольшую точность и реактивность. Метод TwS также использует многомодальное рассуждение, чтобы объединить входящие звуковые сигналы с текстовыми данными, а затем анализировать и интепретировать их совместно. Это позволяет модели не только понимать звуковые сигналы, но и активно рассуждать над ними, чтобы улучшить результаты понимания и обработки аудиоданных. Эта методика отличается от прежних подходов, где модели обычно работают только с текстовыми входными данными и имеют ограниченные возможности анализа аудиосигналов. ## Результаты Для оценки эффективности TwS мы провели ряд экспериментов, использовав различные задачи понимания аудио и подвергнув их проблемам, таким как удаление шума, искажение звука и многоканальное смешивание. Мы использовали обучающие данные из наборов данных, таких как AudioSet и LibriSpe

## Контекст **Speech Continuation (SC)** — это задача генерирования когнетивно согласованных и контекстуально подходящих продлений речи с учетом исходной фразы и аудиоконтекста. Она отличается тем, что ограничена одним аудиопотоком, что позволяет более точно проверить модели голоса на наличие социально релевантных биасосов. Несмотря на прогресс в области глубокого обучения, модели голоса часто склонны к стереотипам и неравенствам. Это влияет на их удобочитаемость и точность в реальном мире, особенно в контексте языковой идентификации и социальной нормы. **Speak Your Mind** — первое систематическое исследование, которое изучает эти биасы в задаче SC, определяя, как гендер и тип фонота (пушистый, хриплый, конечный хрип) влияют на продолжающиеся фразы. Это позволяет выявить проблемы со специальными моделями речи, включая представления о женщинах, гомофониях и типе голоса. ## Метод **Speak Your Mind** использует множество метрик для оценки продолжений речи: **semantic fidelity** (точность содержания), **coherence** (логичность), **speaker similarity** (похожесть на голос), и **voice quality preservation** (сохранение голоса). Три модели голоса исследуются: **SpiritLM (base и expressive)**, **VAE-GSLM**, и **SpeechGPT**. Модели обучаются на разных данных, чтобы сравнить гендерные и типы голоса, а также подсчитывается продолжение слов, сложность текста и звуков. Используется большое количество данных с разными типами голоса, чтобы протестировать качество продолжений и их соответствие оригинальному голосу. ## Результаты Результаты показывают, что все модели сталкиваются с проблемами, такими как **speaker similarity** и **semantic fidelity**, особенно при продолжении голоса женщин. Женщины оказываются более чувствительными к **voice quality bias** — их фоноты чаще возвращаются к умолятельному голосу, чем у мужчин. Модели также оказались чувствительными к гендеру в текстовых метриках, таких как **agency** (агентность) и **sentence polarity** (положительность предложений). Например, **VAE-GSLM** показал более высокую точность в продолжении, но также демонстрировал более сильные гендерные эффекты в тексте. В целом, результаты показывают, что **SC** — это эффективный инструмент для проверки социальных биасов в моделях речи. ## Значимость **Speak Your Mind** открывает новые пути для исследований социальных биасов в моделях речи. Он показывает, что SC может быть использован для выявления и изучения гендерных и типов голоса, что может быть полезно для создания более нейтральных моделей. Эта работа также открывает возможности для дальнейшего исследования звуковой и текстовой структуры речи, которая может помочь в улучшении **voice foundation models**. Будущие исследования могут более глубоко изучить