📊 Статистика дайджестов

Всего дайджестов: 34022 Добавлено сегодня: 82

Последнее обновление: сегодня
Авторы:

Lei Yu, Jingyuan Zhang, Xin Wang, Jiajia Ma, Li Yang, Fengjun Zhang

#### Контекст Смарт-контракты — это автоматизированные программы, которые управляют высокоценными активами, и их неправильная реализация может привести к катастрофическим финансовым потерям. Эта сложность усиливается при использовании больших языковых моделей (LLMs), которые часто действуют как "черные ящики", не позволяя проанализировать их работу. Эти модели часто генерируют код с критическими уязвимостями, которые могут быть использованы злоумышленниками. Данная проблема мотивирует разработку новых методов, которые обеспечат безопасность и понятность смарт-контрактов. #### Метод Мы предлагаем фреймворк SmartCoder-R1, основанный на Qwen2.5-Coder-7B, для смарт-контрактов. Фреймворк включает три основные этапы. В первом этапе проводится **Continual Pre-training (CPT)**, направленный на усовершенствование модели для генерации кода. Затем используется **Long Chain-of-Thought Supervised Fine-Tuning (L-CoT SFT)** на основе 7,998 проверенных экспертом примеров рассуждений и кода для обучения модели выполнять безопасный код. На последнем этапе применяется **Security-Aware Group Relative Policy Optimization (S-GRPO)**, чтобы оптимизировать генерацию кода, учитывая безопасность, компиляцию и формат. #### Результаты На тестировании на 756 реальных функциях SmartCoder-R1 демонстрирует лучшие результаты по 5 ключевым показателям: ComPass (87.70%), VulRate (8.60%), SafeAval (80.16%), FuncRate (53.84%) и FullRate (50.53%). Наиболее критический FullRate показывает увеличение в 45.79% по сравнению с самым близким конкурентом. Более того, экспертные оценки показали высокое качество генерируемого кода в трех аспектах: функциональности (82.7%), безопасности (85.3%) и понятности (90.7%). #### Значимость Предложенный подход может быть применен в различных сферах, где требуется генерация безопасного и понятного кода, таких как финансовые системы, сети блокчейнов, и другие приложения, требующие высокой безопасности. Важность SmartCoder-R1 также заключается в том, что он обеспечивает прозрачный процесс рассуждений, что делает его более надежным и доступным для аудита и модификации. #### Выводы Результаты SmartCoder-R1 продемонстрировали высокую эффективность в решении проблем безопасности и понятности в генерации кода смарт-контрактов. Будущие исследования будут направлены на улучшение подхода, включая расширение обучающих данных, применение адаптивных методов оптимизации и исследование кросс-платформенной совместимости.
Annotation:
Smart contracts automate the management of high-value assets, where vulnerabilities can lead to catastrophic financial losses. This challenge is amplified in Large Language Models (LLMs) by two interconnected failures: they operate as unauditable "black boxes" lacking a transparent reasoning process, and consequently, generate code riddled with critical security vulnerabilities. To address both issues, we propose SmartCoder-R1 (based on Qwen2.5-Coder-7B), a novel framework for secure and explain...
ID: 2509.09942v1 cs.CR, cs.AI, cs.SE
Авторы:

Zhiyang Chen, Tara Saba, Xun Deng, Xujie Si, Fan Long

## Контекст Large Language Models (LLMs) широко применяются в сферах, таких как кодирование, документация, и трансляция языка. Однако их обучение на основе интернет-данных создает опасность поглощения и воспроизведения вредоносного контента. Это не только опасно для пользователей, но и может привести к значительным финансовым и безопасностным потерям. Несмотря на значительные усилия, поддерживающие создание этих моделей, существуют сомнения в их безопасности. Целью этой работы является оценка уровня подверженности LLMs к атакам через вредоносный контент в их обучающих данных. ## Метод Для оценки проблемы был разработан автоматизированный фреймворк, который использует шаблоны проверочных запросов, созданных на основе знакомых баз данных мошеннических сайтов. Эти запросы были поданы в качестве входных данных для 4 популярных LLMs: GPT-4o, GPT-4o-mini, Llama-4-Scout, и DeepSeek-V3. Цель заключалась в определении вероятности возникновения вредоносного кода в программах, сгенерированных этими моделями. Набор данных для экспериментов состоял из синтетических проверочных запросов, отфильтрованных из баз данных мошеннических сайтов. Эксперименты проводились в реальных условиях, чтобы оценить точность и работу моделей на практике. ## Результаты Опытные результаты показали, что все тестируемые модели генерируют вредоносный код в ответ на гуманных-стилевые запросы, сгенерированные с помощью автоматического фреймворка. Общая статистическая ошибка составила 4.2%, что значительно превышает допустимую погрешность для безопасных систем. Были определены 177 невинных запросов, которые вызвали воспроизведение вредоносного кода во всех тестируемых моделях. Эти результаты подтверждают, что LLMs жертвы масштабного токсического обучения, что может привести к возникновению безопасностных уязвимостей. ## Значимость Результаты этого исследования имеют большую полезность в различных областях. В первую очередь, они могут быть использованы для создания безопасных систем обработки текста, которые будут отказываться от вывода потенциально вредоносных выражений. Во вторую очередь, они могут помочь в разработке методов, которые будут автоматически фильтровать потенциально опасные выходы моделей. Эти инновации могут быть применены в сферах, таких как системы безопасности, финансовые системы и даже образовательные системы, где использование LLMs является критичным. Уменьшение риска порождения вредоносного кода может иметь значительное влияние на уровень безопасности и доверия к LLMs в различных приложениях. ## Выводы Результаты исследования являются си
Annotation:
Large Language Models (LLMs) have become critical to modern software development, but their reliance on internet datasets for training introduces a significant security risk: the absorption and reproduction of malicious content. To evaluate this threat, this paper introduces a scalable, automated audit framework that synthesizes innocuous, developer-style prompts from known scam databases to query production LLMs and determine if they generate code containing harmful URLs. We conducted a large-s...
ID: 2509.02372v1 cs.CR, cs.AI, cs.SE
Авторы:

Jie Zhu, Chihao Shen, Ziyang Li, Jiahao Yu, Yizheng Chen, Kexin Pei

## Контекст Область исследования дирижируемого fuzzing направлена на нахождение входных данных, приводящих программу к конкретным целевым состояниям. Эта задача имеет широкое применение, в том числе в дебаггинге системных ошибок, подтверждении сообщенных багов и генерировании эксплоитов для уязвимостей. Однако она представляет собой значительные трудности из-за того, что целевые состояния часто характеризуются сложной иерархией, а пространство поиска, состоящее из множества возможных входных данных, является очень объемным. Большинство существующих подходов опираются на меры расстояний между ветвлениями или на ручную спецификацию ограничений, чтобы управлять поиском. Однако эти методы недостаточно точны в оценке прогресса поиска или требуют идентификации конкретных типов багов, что снижает их общедоступность. ## Метод Locus предлагает новую модель синтеза подстрочных условий для более точного определения прогресса в fuzzing. Архитектура построена на агентном фреймворке, в котором инструменты анализа программного кода автоматически генерируют и последовательно уточняют подходящие условия. Чтобы предотвратить ложные отвергания, система использует символьный эксперимент для точного определения целевых состояний. Это позволяет значительно увеличить эффективность fuzzing, сузив поисковое пространство и предоставляя дополнительное руководство для оптимизации. ## Результаты В ходе экспериментов на данных реальных программных систем, Locus продемонстрировал существенную эффективность. Он ускорил работу стандартных алгоритмов fuzzing на 41.6 раз в среднем, позволив открыть восемь новых багов, один из которых уже принят для исправления. Это доказывает широкую применимость Locus в различных сценариях, включая исправление системных ошибок и снижение рисков безопасности. ## Значимость Locus может применяться в различных технологических сферах, включая безопасность ПО, оптимизацию систем и разработку сложных программных структур. Его преимущество заключается в увеличении точности и скорости поиска уязвимостей, а также в способности адаптироваться к различным программам и типам багов. Это может существенно повлиять на общую эффективность и надежность программных систем. ## Выводы Locus является прорывом в области fuzzing, существенно улучшая его эффективность и гибкость. Будущие исследования будут направлены на усовершенствование агентного подхода и расширение его применения в более широких сферах ИТ-технологий.
Annotation:
Directed fuzzing aims to find program inputs that lead to specified target program states. It has broad applications, such as debugging system crashes, confirming reported bugs, and generating exploits for potential vulnerabilities. This task is inherently challenging because target states are often deeply nested in the program, while the search space manifested by numerous possible program inputs is prohibitively large. Existing approaches rely on branch distances or manually-specified constrai...
ID: 2508.21302v1 cs.CR, cs.AI, cs.SE
Авторы:

Yongjian Guo, Puzhuo Liu, Wanlun Ma, Zehang Deng, Xiaogang Zhu, Peng Di, Xi Xiao, Sheng Wen

#### Контекст Модель Контекстного Протокола (MCP) представляет собой важный стандарт, позволяющий AI-агентам эффективно взаимодействовать с внешними инструментами, улучшая их функциональность. Однако, несмотря на преимущества, MCP также повлекла за собой серьезные угрозы безопасности. Одна из таких угроз — Tool Poisoning Attack (TPA), когда внедряются скрытые поддельные инструкции, которые могут изменять поведение AI-системы. Несмотря на важность этой проблемы, актуальные исследования по MCP сфокусированы на узком кругу вопросов или неконкретных оценках. Данные работы направлены на заполнение этой гапа, обеспечив полный анализ угроз и развитие эффективных защитных стратегий. #### Метод Мы представляем **MCP Attack Library (MCPLIB)** — универсальный метод, который содержит 31 различных методов атак, разделенных на четыре группы: 1) **Direct Tool Injection**, 2) **Indirect Tool Injection**, 3) **Malicious User Attacks**, и 4) **LLM Inherent Attacks**. Для каждого метода мы определяем условия, подходы и результаты. Наша методология включает в себя разработку моделей, симуляцию атак и методики для измерения их эффективности. Это позволяет получить широкий обзор различных атак и сформировать гибкий инструментарий для их анализа. #### Результаты Наши эксперименты проводились на различных наборах данных и системах, используя MCPLIB для оценки эффективности различных атак. Мы выявили ключевые уязвимости, такие как доверительное отношение агентов к описаниям инструментов, чувствительность к файловым атакам, цепочные атаки, которые используют общий контекст, и проблемы в различении внешних данных от исполняемых команд. Эти результаты показали, что основными угрозами являются недостаточная верификация внешних инструментов и недостаточное различение запросов от команд. #### Значимость Наша работа имеет значительную значимость в области безопасности AI. Она может быть применена в различных сферах, включая интеллектуальные системы управления, робототехнику и защиту данных. Благодаря полученным результатам, можно разработать более надежные защитные методы, улучшить MCP-системы и обеспечить безопасность взаимодействия с внешними инструментами. Это также может включить в себя развитие новых моделей, способных более точно определять и отсекать поддельные инструкции. #### Выводы Мы сформировали полный таксономический анализ угроз MCP, представили универсальный фреймворк для анализа атак MCPLIB и провели эмпирический анализ уязвимостей. Наши выводы подтверждают необходимость создания новых защитных методов, возможности усовершенствования существующих моделей и развития безопасных MCP-систем.
Annotation:
The Model Context Protocol (MCP) has emerged as a universal standard that enables AI agents to seamlessly connect with external tools, significantly enhancing their functionality. However, while MCP brings notable benefits, it also introduces significant vulnerabilities, such as Tool Poisoning Attacks (TPA), where hidden malicious instructions exploit the sycophancy of large language models (LLMs) to manipulate agent behavior. Despite these risks, current academic research on MCP security remain...
ID: 2508.12538v1 cs.CR, cs.AI, cs.SE
Авторы:

Jiongchi Yu, Xiaofei Xie, Qiang Hu, Yuhan Ma, Ziming Zhao

## Контекст Инсайдерские угрозы (insider threats) представляют опасность, которая может привести к серьезным потерям для организаций. Они могут принимать различные формы, такие как утечка конфиденциальной информации, системный саботаж или кража интеллектуальной собственности. Одним из главных задач для гарантии безопасности является развитие эффективных методов для идентификации и симуляции таких угроз. Изучение этих вопросов требует доступа к качественным данным, что часто оказывается сложным из-за конфиденциальности организационных данных и их недостаточного количества для полноценного исследования. Это способствует ограниченности в развитии методов внутриорганизационного мониторинга и симуляции угроз. ## Метод Чимера (Chimera) — первая платформа, основанная на многоагентной модели л LLM, которая автоматически симулирует поведение пользователей внутри организации, включая как благонамеренное, так и злонамеренное. Она учитывает ролевое поведение различных типов сотрудников, включая руководителей, разработчиков и администраторов. Используя модули для групповых встреч, парные взаимодействия и самостоятельное расписание, платформа генерирует подробные логи действий пользователей. Процесс симуляции включает 15 типов угроз, таких как кража интеллектуальной собственности и системный саботаж. Данные, генерируемые Chimera, хранятся в формате ChimeraLog, представляющем собой новый высококачественный датасет, предназначенный для исследований в области определения внутриорганизационных угроз. ## Результаты Данные ChimeraLog были протестированы в составе нескольких кейсов, включая технологическую компанию, финансовую корпорацию и медицинское учреждение. Эксперименты показали высокую реалистичность генерируемых данных и разнообразие угроз, включая обоснованные шаблоны моделирования вредоносного поведения. В частности, проведенный тест на F1-метрике показал, что уровень сложности ChimeraLog значительно выше, чем у других датасетов. Это позволяет использовать Chimera для достижения более точных и сложных моделей поддержки решений в области мониторинга и симуляции внутриорганизационных угроз. ## Значимость Предложенный подход имеет широкие возможности в области безопасности и мониторинга. Платформа Chimera может применяться для создания достоверных датасетов, которые позволят развивать модели мониторинга и обнаружения внутриорганизационных угроз. Это также может способствовать развитию методов для идентификации и предотвращения внутренних угроз, таких как кража данных или саботаж. Благодаря своей реалистичности и разнооб
Annotation:
Insider threats, which can lead to severe losses, remain a major security concern. While machine learning-based insider threat detection (ITD) methods have shown promising results, their progress is hindered by the scarcity of high-quality data. Enterprise data is sensitive and rarely accessible, while publicly available datasets, when limited in scale due to cost, lack sufficient real-world coverage; and when purely synthetic, they fail to capture rich semantics and realistic user behavior. To ...
ID: 2508.07745v2 cs.CR, cs.AI, cs.SE
Показано 11 - 15 из 15 записей