📊 Статистика дайджестов

Всего дайджестов: 34022 Добавлено сегодня: 82

Последнее обновление: сегодня
Авторы:

Jiale Zhang, Pengfei He, Fei Li, Kewei Li, Yan Wang, Lan Huang, Ruochi Zhang, Fengfeng Zhou

## Контекст Современные сети становятся все более уязвимыми к атакам из-за высокой скорости развития технологий и повышающегося объема данных. Традиционные методы машинного обучения сталкиваются с трудностями при обработке сложных структур данных в сетевых атаках из-за нехватки данных и неравномерного распределения классов. Это приводит к неэффективности в обнаружении новых и нестандартных атак. Для преодоления этих проблем, TrailGate предлагает инновационный подход, объединяющий методы машинного обучения и глубокого обучения, чтобы обеспечить более точное и надежное обнаружение вторжений в сети. ## Метод TrailGate основывается на сочетании двух мощных архитектур: Transformer и Bidirectional Gated Recurrent Unit (BiGRU). Эти модели активно используют принципы преобразования векторов и взаимной рекуррентной обработки для лучшего понимания и классификации сетевых данных. Дополнительно, в процессе обучения используется стратегия грамотного выбора признаков и методы увеличения данных, что позволяет модели обнаруживать икорректные паттерны и усиливать обнаружение новых и незнакомых атак. Это фреймворк предлагает гибкий и эффективный подход к обнаружению и анализу сетевых атак. ## Результаты В ходе экспериментов на различных сетевых датасетах, включая NSL-KDD и CICIDS-2017, TrailGate продемонстрировал высокую точность и уникальную способность отличать обычные и новые типы атак. Результаты показали, что он превышает многие классические методы в обнаружении и обработке высокоскоростных сетевых атак. Данные эксперименты также подтвердили высокую скорость и устойчивость модели при работе с большими объемами живых данных. ## Значимость TrailGate может применяться в различных секторах, таких как финансовые системы, транспортные системы и информационные системы, где защита от сетевых атак является критически важной. Он предлагает существенные преимущества, включая высокую точность, универсальность и способность быстро адаптироваться к новым атакам. Этот подход может повысить уровень безопасности в цифровой сфере, снизив риски и уменьшив влияние угроз в реальном времени. ## Выводы Результаты исследования показали, что TrailGate является эффективным инструментом для обнаружения и анализа сетевых атак. Он объединяет мощь глубокого обучения и машинного обучения для обеспечения надежной защиты от широкого спектра атак. Будущие исследования будут фокусироваться на улучшении модели для обработки более сложных атак и на переносе ее на другие сферы, такие как безопасность ИИ и блокчейн-системы.
Annotation:
In today's fast-paced digital communication, the surge in network traffic data and frequency demands robust and precise network intrusion solutions. Conventional machine learning methods struggle to grapple with complex patterns within the vast network intrusion datasets, which suffer from data scarcity and class imbalance. As a result, we have integrated machine learning and deep learning techniques within the network intrusion detection system to bridge this gap. This study has developed Trail...
ID: 2509.04925v1 cs.LG, cs.CR
Авторы:

Jehad Jilan, Niranjana Naveen Nambiar, Ahmad Mohammad Saber, Alok Paranjape, Amr Youssef, Deepa Kundur

## Контекст Automatic Generation Control (AGC) является ключевым элементом для поддержания стабильности энергетической системы. Однако AGC остается уязвимым перед невидимыми атаками, такими как False Data Injection Attacks (FDIAs), которые могут нарушить стабильность системы без обнаружения стандартными методами мониторинга. Многие ранее разработанные подходы доводились до автоматических или глубоких нейронных сетей, но они часто оставались черными ящиками, не давая понятного интерпретации результатов. Данное исследование уделяет особое внимание разработке интерпретируемого метода классификации FDIAs в AGC, учитывающем нелинейные зависимости в системе. ## Метод Разработанная модель Kolmogorov-Arnold Networks (KAN) представляет собой интерпретируемую модель машинного обучения, основанную на модификации теоремы Колмогорова-Арнольда. Данная модель дополняется методом вывода символических формул, позволяющим выразить логику работы сети в виде читаемых формул. Для обучения KAN использовались данные, представляющие различные операционные сценарии AGC. Сеть была обучена оффлайн, чтобы совершенствовать свою модель нелинейных зависимостей между метриками AGC. Далее, KAN может генерировать символические формулы, описывающие ее работу, что делает ее выводы понятными для пользователя. ## Результаты Для оценки KAN выполнены эксперименты на двух наборах данных, симулирующих AGC с и без FDIAs. Модель демонстрирует высокую точность детектирования FDIAs, с достигающим 95.97% в первоначальной версии и 95.9% при использовании символических формул. Эти результаты показывают, что KAN эффективно распознает нелинейные отклонения в системе, без значительных ложных срабатываний. Благодаря символическим выводам, KAN может стать основой для разработки интерпретируемых систем мониторинга, что особенно важно в критически важных областях, таких как системы энергетического обеспечения. ## Значимость Предлагаемый подход может быть применен в различных системах мониторинга и контроля, в том числе в системах AGC и других критически важных областях, где интерпретируемость модели критична. Одним из преимуществ KAN является ее возможность вывода читаемых формул, что может упростить понимание и улучшить доверие к модели. Это также может привести к развитию более открытых и доверительных систем мониторинга, которые имеют возможность объяснять свои решения. ## Выводы Kolmogorov-Arnold Networks представляют собой новую интерпретируемую модель для детектирования FDIAs в AGC, которая достигает высокой точности и предоставляет понятные результаты благодаря символическим формулам.
Annotation:
Automatic Generation Control (AGC) is essential for power grid stability but remains vulnerable to stealthy cyberattacks, such as False Data Injection Attacks (FDIAs), which can disturb the system's stability while evading traditional detection methods. Unlike previous works that relied on blackbox approaches, this work proposes Kolmogorov-Arnold Networks (KAN) as an interpretable and accurate method for FDIA detection in AGC systems, considering the system nonlinearities. KAN models include a m...
ID: 2509.05259v1 cs.LG, cs.CR, cs.SY, eess.SY
Авторы:

Zhipeng Yin, Zichong Wang, Avash Palikhe, Zhen Liu, Jun Liu, Wenbin Zhang

Резюме ======= ## Контекст Generative models, особенно в области текста-к-изображению, достигли невероятных успехов, обеспечив новые возможности для творчества и производства визуального содержимого. Однако, эта технология не освобождается от проблем. Использование больших данных для обучения может привести к непреднамеренному копированию авторских работ, что создает серьезные юридические и этические ограничения. Несмотря на то, что ранее предложенные методы, такие как методы на основе подстрокового ввода, позволяли как снизить риск инфингмента, так и улучшить качество изображений, они не могут справиться со всеми случаями, особенно с теми, которые трудно определить на основе простого текста. Для решения этих проблем, авторы предлагают AMCR (Assessing and Mitigating Copyright Risks) — новую рамку для обнаружения и уменьшения рисков копирайта в генеративных моделях. ## Метод AMCR основывается на трёх основных частях: 1. **Переформатирование ввода.** Метод анализирует подстроки запроса и преобразует их в более безопасные формы на случай, если они могут вызвать копирайтные риски. 2. **Обнаружение инфингмента.** Метод включает в себя сопоставление внимания схожести, чтобы выявить возможные возникающие вопросы авторских прав в изображениях. 3. **Адаптивное уменьшение рисков.** Алгоритм адаптивно меняет генерируемые изображения во время генерации, чтобы уменьшить риск нарушения авторских прав без потери качества. ## Результаты Эксперименты показали, что AMCR доказал свою эффективность в обнаружении и уменьшении рисков. Данным использовались большие наборы данных с генерируемыми изображениями, позволив проверить рамку в разных ситуациях. Измерения показали, что AMCR оказывается более эффективным в сравнении с базовым подстроковым вводом, особенно в случае сложных и затрудненных случаев. Это подкрепляет потенциал AMCR в безопасном и эффективном использовании генеративных моделей в реальных условиях. ## Значимость AMCR имеет широкие применения в технологиях генеративных моделей, включая текст-к-изображению, видео-генерацию и другие виды визуальных приложений. Его особенность заключается в том, что он не только может обнаруживать и преобразовывать рискованные запросы, но и может адаптироваться во время генерации, чтобы уменьшать риск нарушения авторских прав. Это не только улучшает безопасность, но и повышает ценность изображений. Будущие исследования будут направлены на совершенствование технологий, улучшение надёжности и расширение применений в различных сферах. ## Выводы AMCR представляет собой новую рамку для обнаружения и уменьшения копира
Annotation:
Generative models have achieved impressive results in text to image tasks, significantly advancing visual content creation. However, this progress comes at a cost, as such models rely heavily on large-scale training data and may unintentionally replicate copyrighted elements, creating serious legal and ethical challenges for real-world deployment. To address these concerns, researchers have proposed various strategies to mitigate copyright risks, most of which are prompt based methods that filte...
ID: 2509.00641v1 cs.LG, cs.CR, cs.CV
Авторы:

Jesus Lopez, Saeefa Rubaiyet Nowmi, Viviana Cadena, Mohammad Saidur Rahman

## Контекст Классическая машинная обучение (CML) долгое время используется для классификации вредоносных программ (малвирусов). Однако в последнее время возникла возможность использования квантовых вычислений в области машинного обучения (QML). Это открывает новые перспективы для улучшения методов обнаружения вредоносных программ. Несмотря на то, что QML пока не был широко использован в этой области, его потенциал в выявлении малвирусов очевиден. Целью данного исследования является исследование гибридных квантово-классических моделей QML для классификации вредоносных программ и оценка их эффективности. ## Метод Для решения задачи классификации вредоносных программ были рассмотрены два гибридных модели QML: Quantum Multilayer Perceptron (QMLP) и Quantum Convolutional Neural Network (QCNN). Оба модели используют квантовые стэйты для представления данных. QMLP включает в себя полное измерение кубитов и данные переобучения, что позволяет ему лучше обнаруживать сложные шаблоны в данных. QCNN, напротив, использует квантовые свертки и квантовые операции для быстрого обучения, но при этом теряет часть точности. Модели были тестированы на пяти разных датасетах: API-Graph, EMBER-Domain, EMBER-Class, AZ-Domain и AZ-Class, для классификации в двух и многоклассовых задачах. ## Результаты Результаты экспериментов показали высокую точность классификации в режиме бинарной классификации: QMLP демонстрировал точность 95-96% на API-Graph, 91-92% на AZ-Domain, а QCNN — 77% на EMBER-Domain. В режиме многоклассовой классификации точность QMLP варьировалась от 91.6% до 95.7% на API-Graph, от 41.7% до 93.6% на AZ-Class, а QCNN показал результаты от 60.7% до 88.1% на EMBER-Class. QMLP, несмотря на более долгую скорость обучения, показал лучшие результаты в задачах многоклассовой классификации. QCNN, в свою очередь, демонстрировал более высокую эффективность обучения, но с меньшей точностью. ## Значимость Полученные результаты показывают, что QML может стать мощным инструментом для улучшения методов обнаружения вредоносных программ. QMLP может быть применен для решения задач многоклассовой классификации, где требуется высокая точность. QCNN, с другой стороны, может использоваться для быстрого обучения в задачах бинарной классификации. Эти модели могут быть применены в различных сферах безопасности, таких как мониторинг сетей, анализ трафика и защита от вредоносных программ. Будущие исследования могут направлены на улучшение точности QML-моделей, а также на их применение в реальных системах защиты от вредоносных программ. ## Выводы Это исследование демонстрирует потенциал квантовых моделей для улучшения методов обнаружения вредоно
Annotation:
Classical machine learning (CML) has been extensively studied for malware classification. With the emergence of quantum computing, quantum machine learning (QML) presents a paradigm-shifting opportunity to improve malware detection, though its application in this domain remains largely unexplored. In this study, we investigate two hybrid quantum-classical models -- a Quantum Multilayer Perceptron (QMLP) and a Quantum Convolutional Neural Network (QCNN), for malware classification. Both models ut...
ID: 2508.19381v1 cs.LG, cs.CR
Авторы:

Mahdi Haghifam, Adam Smith, Jonathan Ullman

#### Контекст В последние годы становится все более очевидным, что машинное обучение (ML) может становиться источником угроз для частных данных своих пользователей. Одним из ключевых аспектов этой угрозы является **атака методом включения в выборку (membership inference attack)**, при которой злоумышленник пытается определить, входит ли конкретный объект в обучающую выборку использованной модели. Несмотря на то, что эти атаки были во многом исследованы, остается открытым вопрос о том, насколько много больше данных нужно атакующему, чем используется тренировочной модели. В настоящей работе мы рассматриваем вопрос с точки зрения **сложности выборки (sample complexity)**, то есть минимального числа дополнительных примеров (ссылочных выборок), необходимых для успешного выполнения attack. Область исследования — **оценка среднего значения гауссовского распределения**, где целью является оценка среднего $\mu$ с ограниченной ошибкой. Этот вопрос имеет решающее значение для понимания уязвимости ML-систем и разработки эффективных мер защиты. #### Метод Мы применяем **теоретический подход** для анализа сложности выборки в контексте атак на членство. Наша модель предполагает, что злоумышленнику доступны **ссылочные выборки** из одного и того же распределения, но без предварительного знания о деталях обучающей выборки. Мы формализуем сложность выборки как **минимальное число ссылочных примеров**, необходимое для того, чтобы атакующий мог существенно превосходить случайного атакующего, который не имеет доступа к дополнительным данным. Основной фокус — вопрос того, насколько большой объем дополнительных данных нужен для того, чтобы злоумышленник мог успешно определить включение конкретного объекта в тренировочную выборку. Мы показываем, что для этой задачи **хотя бы $\Omega(n + n^2 \rho^2)$ ссылочных примеров** могут быть необходимы, где $n$ — число примеров в обучающей выборке, а $\rho$ — ограничение на ошибку оценки среднего. Это значит, что необходимо **больше данных**, чем используется в самой модели. #### Результаты Мы проводим эксперименты на гипотетических данных, подтверждая что **$\Omega(n + n^2 \rho^2)$-результат** действителен, даже для оптимального атакующего алгоритма. Наши результаты показывают, что **дополнительные ссылочные данные** действительно дают злоумышленнику серьезную преимущество, особенно когда разница между выборкой и распределением небольшая. Это **первое утверждение**, что у атакующего может потребоваться **больше данных**, чем используется в обучении модели. Наша работа также показывает, что **ограничения на количество данных** могут негативно сказываться на безопасност
Annotation:
A membership-inference attack gets the output of a learning algorithm, and a target individual, and tries to determine whether this individual is a member of the training data or an independent sample from the same distribution. A successful membership-inference attack typically requires the attacker to have some knowledge about the distribution that the training data was sampled from, and this knowledge is often captured through a set of independent reference samples from that distribution. In ...
ID: 2508.19458v1 cs.LG, cs.CR, stat.ML
Авторы:

Yang Li, Hanjie Wang, Yuanzheng Li, Jiazheng Li, Zhaoyang Dong

## Контекст Генерирование и обработка данных винных зернов является ключевым элементом управления энергосистемами, особенно в открытой промышленной среде. Однако данные винных зернов часто страдают от пропусков из-за аварийных ситуаций в сенсорах и нестабильных передачах данных на крайних узлах. Эти проблемы существенно снижают качество аналитики и управления. Федеративное обучение (FL) предлагает решение, обеспечивая защиту конфиденциальности без прямого обмена сырыми данными. Однако FL остается уязвимым для аномальных обновлений и возможности вытекания конфиденциальности в процессе обмена параметрами. Эти ограничения требуют новых подходов, особенно в открытых промышленных средах, где нет доверия к участникам. Для решения этих проблем предлагается ZTFed-MAS2S — фреймворк с нулевым доверием, который включает методы защиты конфиденциальности и доверия. ## Метод ZTFed-MAS2S основывается на федеративном обучении с нулевым доверием и использует многоголосную аттенционную последовательность-к-последовательности для моделирования и импутации пропущенных данных винных зернов. Фреймворк интегрирует механизмы нейтрализаруемой дифференциальной частичности с нетрадиционными нулевыми доказательствами знаний, обеспечивающими безопасность параметров модели. Динамический механизм учета доверия, основанный на графах сходства, улучшает устойчивость системы, в то же время сжатие спада и кодирование сжатия сокращают объем передаваемых данных. Модель MAS2S решает проблему пропусков данных в винных зернов, позволяя точно предсказывать недостающие значения. ## Результаты Исследования проводились на реальных данных винных зернов, доставленных с различных крайних узлов. Эксперименты показали, что ZTFed-MAS2S превосходит другие FL-фреймворки по сохранности данных и точности импутации. Фреймворк удалось восстановить до 95% пропущенных показателей, сохранив высокую точность и защищенность параметров. Это свидетельствует о том, что ZTFed-MAS2S является эффективным и безопасным решением для решения проблем с пропусками в данных винных зернов. ## Значимость ZTFed-MAS2S находит применение во многих областях, включая энергосистемы, промышленное управление и безопасность данных. Особый потенциал этой модели открывается в технологиях FL в открытых промышленных средах, где требуется защита данных и доверие между участниками. Значительное преимущество ZTFed-MAS2S заключается в его возможности обеспечить безопасность параметров и доверие в условиях отсутствия центрального агрегатора. Это может повлиять на развитие технологий в энерго
Annotation:
Wind power data often suffers from missing values due to sensor faults and unstable transmission at edge sites. While federated learning enables privacy-preserving collaboration without sharing raw data, it remains vulnerable to anomalous updates and privacy leakage during parameter exchange. These challenges are amplified in open industrial environments, necessitating zero-trust mechanisms where no participant is inherently trusted. To address these challenges, this work proposes ZTFed-MAS2S, a...
ID: 2508.18318v1 cs.LG, cs.CR, cs.SY, eess.SY
Авторы:

Shae McFadden, Myles Foley, Mario D'Onghia, Chris Hicks, Vasilios Mavroudis, Nicola Paoletti, Fabio Pierazzi

## Контекст В современных условиях, где широко распространены мобильные устройства, возрастает угроза злоупотребления системными ресурсами и утечек конфиденциальных данных. Мобильные шпионские программы, такие как Android.Spy.1105.origin, являются одним из основных источников этих угроз. Для обнаружения таких программ необходимо решать задачи обнаружения вредоносных программ (malware detection) в условиях сильно изменяющихся угроз (concept drift). Традиционные методы, такие как супервизорные классификаторы, сталкиваются с трудностями при долгосрочном сохранении точности в таких динамических условиях. Этот контекст мотивирует разработку новых подходов, которые могут адаптироваться к изменениям в типах угроз и повысить надежность обнаружения вредоносных программ в динамических условиях. ## Метод Для решения задачи обнаружения вредоносных программ в условиях concept drift разработана методология, основанная на глубоком развитии учебных процессов (deep reinforcement learning, DRL). Основным принципом этого подхода является обучение агента, который может принимать решения в ходе обнаружения вредоносных программ, оптимизируя два ключевых аспекта: классификацию образцов и отказ от классификации высокорисковых образцов в пользу их ручного анализа и обновления модели. Агенту предоставляется марковская модель, где каждый состояние представляет собой набор признаков образца, а действия заключаются в классификации образца или его отказе в ручном режиме. Оценка качества действий осуществляется с помощью метрики Area Under Time (AUT), которая сочетает в себе точность классификации и устойчивость в течение долгого периода времени. ## Результаты Проведенные эксперименты показали высокую эффективность DRL-процедур в сравнении с традиционными методами. Агент DRMD (Deep Reinforcement Learning for Malware Detection) показал значительные улучшения в Area Under Time (AUT) для классификации, классификации с отказом и классификации совместно с активным обучением (active learning). Значимые улучшения были отмечены в течение многолетнего периода, что указывает на высокую устойчивость DRMD к изменениям в типах угроз. Эти результаты демонстрируют перспективу DRL в области мобильного обнаружения вредоносных программ, сочетая стратегическую адаптацию к изменениям в угрозам и эффективную классификацию. ## Значимость Предложенный подход имеет широкие области применения в системах безопасности мобильных устройств, включая мобильные телефоны и планшеты. Он может быть применен для обнаружения и блокировки мобильных вредоносных приложений, улучшения защиты пользовательских данных и предотвращения утечек конфиденциальности. Преимущество DRMD заключается в устойчивости к concept drift, что обеспечивает долгосрочную надежност
Annotation:
Malware detection in real-world settings must deal with evolving threats, limited labeling budgets, and uncertain predictions. Traditional classifiers, without additional mechanisms, struggle to maintain performance under concept drift in malware domains, as their supervised learning formulation cannot optimize when to defer decisions to manual labeling and adaptation. Modern malware detection pipelines combine classifiers with monthly active learning (AL) and rejection mechanisms to mitigate th...
ID: 2508.18839v1 cs.LG, cs.CR
Авторы:

Muhammet Anil Yagiz, Zeynep Sude Cengiz, Polat Goktas

## Контекст Federated learning (FL) является ключевым подходом для развития удобных и безопасных систем в метавсегольных системах, где данные находятся на разных устройствах. Однако существуют серьезные проблемы, такие как высокая задержка, высокое потребление энергии и ограничения в обеспечении конфиденциальности. Эти вопросы становятся еще более актуальными в метавсегольных системах, где потребность в реальном времени в низкой задержке и эффективности ресурсов является критической. Кроме того, эти системы требуют учета экологических показателей, так как высокое потребление электроэнергии приводит к высоким уровням утилизации углерода. Таким образом, нужен подход, который мог бы улучшить производительность, укрепить конфиденциальность и обеспечить экологическую устойчивость в метавсегольных системах. ## Метод MetaFed предлагает инновационный подход к обеспечению эффективного и экологически читабельного федеративного обучения в метавсегольных системах. Он реализует следующие компоненты: (i) мульти-агентное усиленное обучение для динамического выбора участников обучения, (ii) FL с помощью гомоморфной шифровки для поддержки конфиденциальности и (iii) расписание задач с учетом уровней углерода, чтобы эффективно использовать энергию из возобновляемых источников. Эта архитектура обеспечивает более эффективное использование ресурсов и совместимость с целями уменьшения углеродного следа. ## Результаты Используя MNIST и CIFAR-10, были проведены эксперименты с небольшими по размеру архитектурами ResNet. Эксперименты показали, что MetaFed уменьшает уровень углерода на 25% по сравнению с традиционными методами, при этом сохраняя высокую точность и минимизируя задержки. Эти результаты доказывают, что MetaFed является выгодным подходом для создания эффективных и экологичекски ответственных систем в метавсегольных системах. ## Значимость МетаFed может быть применен в различных сферах, включая игры, 3D-моделирование и виртуальные реальности. Он обеспечивает высокую производительность, снижает энергопотребление и повышает уровень конфиденциальности, что делает его идеальным решением для широкой платформы приложений в метавсегольных системах. Этот подход также может стать моделью для будущих исследований в области экологически читабельных и безопасных систем. ## Выводы MetaFed представляет собой продвинутый подход к эффективному и экологичному обучению в метавсегольных системах. Он улучшает производительность, снижает углеродный след и обеспечивает более высокий уровень конфиденциальности. Будущие исследования будут фо
Annotation:
The rapid expansion of immersive Metaverse applications introduces complex challenges at the intersection of performance, privacy, and environmental sustainability. Centralized architectures fall short in addressing these demands, often resulting in elevated energy consumption, latency, and privacy concerns. This paper proposes MetaFed, a decentralized federated learning (FL) framework that enables sustainable and intelligent resource orchestration for Metaverse environments. MetaFed integrates ...
ID: 2508.17341v1 cs.LG, cs.CR, cs.CY, cs.DC, cs.ET
Авторы:

Shir Bernstein, David Beste, Daniel Ayzenshteyn, Lea Schonherr, Yisroel Mirsky

## Контекст Large Language Models (LLMs) становятся все более популярными в области автоматизированного кодового анализа. Они применяются для задач, таких как обнаружение уязвимостей, сводка кода и его рефакторинг. Несмотря на высокую точность и удобство, такие модели могут быть уязвимы для атак, основанных на их внутренних особенностях. В частности, они могут предпочесть знакомые, широко распространенные структуры кода, забывая о менее очевидных, но важных подробностях. Этот тип биаса, называемый abstraction bias, может быть использован для вредоносных активностей, если неверно интерпретировать код. Это создает серьезные риски для систем, опирающихся на LLMs для надежного и безопасного программного обеспечения. ## Метод Разработан алгоритм задействовал методы автоматического кодового анализа, ориентированные на выявление и использование этого abstraction bias. Он использует black-box подход, что означает, что он не требует внутреннего доступа к модели. Алгоритм вводит минимальные изменения в код, которые не изменяют его функциональность, но значительно повлияют на поведение модели. Эти изменения должны быть достаточно характерны, чтобы вызвать абстрактное представление модели, приведя ее к непредвиденной ошибке. Эксперименты проводились с различными моделями, включая GPT-4, Claude 3.5 и Gemini 2.0, а также со скриптами на Python, C, Rust и Go. ## Результаты Исследования показали, что Familiar Pattern Attack (FPA) эффективен против всех исследуемых моделей, независимо от того, использовался ли предупреждение о возможной атаке. Результаты показали, что FPA не только успешно работала, но и была успешно перенесена между моделями и языками программирования. Например, при испытании на C, Rust и Python, модели не только предпочли знакомые паттерны, но и превратились в функционально некорректное поведение. Важным результатом оказалось еще то, что модели, даже при известности атаки, не могли справиться с ней, пока не были предприняты дополнительные меры защиты. ## Значимость Полученные результаты открывают новые возможности в области использования LLMs в небезопасных контекстах. Они открывают возможность для злоумышленников инъекции зрелищных, но уязвимых, кодов в системы, основанные на LLM. Это может привести к потенциальным уязвимостям в системах, которые доверяют LLMs для контроля и анализа. Однако, есть и положительные стороны. Открыта возможность использования атак FPA для повышения надежности LLMs, в том числе через разработку решений, которые могут выявлять и скорректировать подобные уязвимости. ## Выводы Выводы показывают, что abstraction bias в LLMs может быть значительной угрозой для любых систем, использующих эти модели для кода. Бу
Annotation:
Large Language Models (LLMs) are increasingly trusted to perform automated code review and static analysis at scale, supporting tasks such as vulnerability detection, summarization, and refactoring. In this paper, we identify and exploit a critical vulnerability in LLM-based code analysis: an abstraction bias that causes models to overgeneralize familiar programming patterns and overlook small, meaningful bugs. Adversaries can exploit this blind spot to hijack the control flow of the LLM's inter...
ID: 2508.17361v1 cs.LG, cs.CR
Авторы:

Avishag Shapira, Simon Shigol, Asaf Shabtai

## Контекст Machine learning (ML) системы в последние годы получили широкое развертывание во многих областях, включая финансы, здравоохранение, экономику и производство. Однако эта популярность привёл к появлению угроз, связанных с adversarial machine learning (AML), которые используются для искажения ML-систем с целью получения выгоды вредоносными субъектами. В связи с этим, возрастает необходимость в разработке комплексных методов оценки рисков, связанных с AML, которые могут быть применены к различным ML-системам. Традиционные фреймворки оценки рисков, разработанные для традиционных целей в области кибербезопасности, не могут учесть уникальные характеристики AML-техник, такие как их использование в разных средах и системных зависимостях. Более того, существующие подходы к оценке рисков AML часто ограничиваются зональными решениями, что существенно ограничивает их пригодность к использованию в различных ситуациях. Наша работа предлагает FRAME - полностью автоматизированный фреймворк, который может адресовать эти проблемы и предлагать комплексную оценку рисков AML, применимой к многим системам на основе ML. ## Метод FRAME предлагает новую методологию оценки рисков AML, которая включает в себя три ключевых компонента. Во-первых, она рассматривает специфику среды развёртывания целевой системы. Во-вторых, она позволяет анализировать характеристики различных AML-техник, такие как тип угрозы, методы искажения и степень неустойчивости модели. В-третьих, она использует эмпирические данные из предыдущих исследований для оценки вероятности и возможного воздействия угроз. Для того, чтобы обеспечить более точную оценку, мы также внедрили механизм фиксации вероятности и адаптивный подход, который автоматически адаптирует оценку к конкретной системе. Более того, мы создали большую структурированную базу данных AML-атак, которая позволяет проводить контекстуализированные оценки рисков. Этот подход позволяет FRAME выдавать результаты, которые могут быть использованы непосредственно системными владельцами, даже если у них незначительный технический опыт в области AML. ## Результаты Мы проводили ряд экспериментов для оценки точности FRAME и его адекватности выводам, проведенным экспертами в области AML. Наши эксперименты были проведены на шести различных реальных приложениях, включая обнаружение мошенничества, анализ здоровья, изображения, текста, и т.д. Мы применяли FRAME для оценки рисков в этих приложениях, используя данные из реальных ситуаций, и сравнивали результаты с выводами экспертов. Наши результаты показали, что
Annotation:
The widespread adoption of machine learning (ML) systems increased attention to their security and emergence of adversarial machine learning (AML) techniques that exploit fundamental vulnerabilities in ML systems, creating an urgent need for comprehensive risk assessment for ML-based systems. While traditional risk assessment frameworks evaluate conventional cybersecurity risks, they lack ability to address unique challenges posed by AML threats. Existing AML threat evaluation approaches focus p...
ID: 2508.17405v1 cs.LG, cs.CR
Показано 81 - 90 из 100 записей