## Контекст Современные аудио-центричные платформы и приложения, такие как WhatsApp и Twitter, изменили методы общения и обмена аудиоконтентом в современном обществе. Однако эти платформы часто используются для распространения вредоносного аудиоконтента, такого как ненавистная речь, обманные рекламные объявления и жестокость, что может вызвать серьезные негативные последствия, в том числе нарушения психического здоровья. Чтобы бороться с этим, разработчики и исследователи создают и развертывают средства модерации аудиоконтента. Несмотря на эти усилия, злоумышленники могут обходить модерацию, изменяя аудиоконтент подробно, например, изменяя тональность или вставляя шум. Тем не менее, эффективность современных аудио-модерационных инструментов против таких угроз остается недостаточно исследована. Для решения этих проблем мы предлагаем MTAM, фреймворк метаморфонного тестирования для аудио-контент-модерационных систем. ## Метод MTAM основывается на метаморфонном тестировании, которое применяет метаморфонные связи для генерирования тестовых случаев, которые остаются вредоносными, но с большей вероятностью провалиться модерацию. В нашем исследовании мы определили 14 метаморфонных связей на двух категориях подкрутки: Основанные на аудио-функциях и Неправильные. Тестируемым объектам были представлены 2000 аудио-клипов, применяясь к ним 14 метаморфонных отношений. MTAM используется для тестирования пяти коммерческих моделей модерации, предоставленных Gladia, Assembly AI, Baidu, Nextdata и Tencent, а также одной академической модели. ## Результаты Результаты тестирования показывают, что MTAM достигает следующих значений ошибочных находок (EFR): - 38.6% для коммерческого сервиса Gladia - 18.3% для Assembly AI - 35.1% для Baidu - 16.7% для Nextdata - 51.1% для Tencent - 45.7% для академической модели. Эти результаты указывают на высокую эффективность MTAM в обнаружении вредоносного аудиоконтента, который может провалиться модерацию. ## Значимость Исследование MTAM имеет широкие области применения в модерации аудиоконтента, борьбе с ненавистной речью и злоупотреблениями платформ. Его преимущество в том, что он может обнаруживать незаметные изменения в аудио, которые могут быть пропущены традиционными системами. Это может привести к значительному улучшению модерации контента, уменьшению вредоносных действий и повышению безопасности пользователей. ## Выводы MTAM доказал свою эффективность в обнаружении вредоносного аудиоконтента, который может провалиться модерацию, используя метаморфонные связи. Наша работа показывает, что MTAM может с

#### Контекст Large language models (LLM), внедренные в код, провоцируют значительное изменение в сфере разработки программного обеспечения, автоматизируя такие задачи, как тестирование, отладка и исправление. Однако огромные возможности LLMs сопряжены с необходимостью решать проблему безопасности генерируемого ими кода. Небезопасный код может привести к значительным проблемам, таким как утечки данных, взломы и другие уязвимости. Существующие бенчмарки, ориентированные на проверку кода на безопасность, полезны, но имеют ограничения: они часто не учитывают контекст внедрения уязвимостей или используют тестовые протоколы, не полностью отражающие реальную сложность ситуаций. Из-за этого, оценка безопасности генерируемого кода остается недостаточно точной. Чтобы устранить эти проблемы, мы предлагаем **SecureAgentBench** – новый бенчмарк, содержащий 105 задач, который позволяет тщательно оценивать способность кода-агентов генерировать безопасный код в реальных условиях. #### Метод **SecureAgentBench** строится на основе 105 реалистичных задач, требующих редактирования нескольких файлов в больших репозиториях. Для каждой задачи мы вводим контекст, основанный на настоящих открытых исходных кодах, где были отслежены точки внедрения уязвимостей. Наша методика включает три ключевых аспекта: (i) **тестирование функциональности**, чтобы убедиться, что решение корректно выполняет задачу, (ii) **проверка уязвимостей** с помощью создания proof-of-concept exploits, и (iii) **детектирование новых уязвимостей**, внедренных агентом в код. Бенчмарк работает с тремя современными большими лингвистическими моделями (LLMs): Claude 3.7 Sonnet, GPT-4.1 и DeepSeek-V3.1. Эти модели были использованы для сгенерированного кода, который последующим образом проверялся на наличие уязвимостей и структурных ошибок. #### Результаты Наши эксперименты показали, что хотя LLM-агенты способны генерировать код, который функционирует правильно, они сильно страдают в безопасности. Наилучший результат показал SWE-agent, поддерживаемый DeepSeek-V3.1, который смог выполнить 15.2% задач, сочетающих безопасность и функциональность. Однако даже в этом случае некоторые функционально корректные решения все равно включали в себя новые, незарегистрированные ранее, уязвимости. Заметим, что простой добавлением инструкций по безопасному программированию нельзя полностью решить эту проблему. Эти результаты подтверждают необходимость дальнейшего исследования для создания безопасных кодогенерирующих агентов. #### Значимость **SecureAgentBench** может быть применен в различных областях, включая соз