## Контекст **Область исследования:** Дифференциальная приватность (Differential Privacy, DP) является ключевым подходом для защиты частной информации в анализе данных. Она обеспечивает меру защиты, позволяя выполнять анализ данных без раскрытия индивидуальных данных. Однако на практике могут возникать ситуации, когда алгоритмы DP не соблюдают заявленные гарантии безопасности, что может привести к утечке чувствительной информации. **Проблемы и мотивация:** Несмотря на значительные достижения в дифференциальной приватности, существуют трудности в проверке соблюдения гарантий DP. Традиционные методы, такие как батч-аудит, требуют большого количества выборок, что ограничивает их эффективность в реальном времени. Мотивация заключается в разработке подхода, позволяющего эффективно и в реальном времени проверять соблюдение DP в процессе его применения. ## Метод **Описание методологии:** Разработан последовательный тест (sequentially auditing), позволяющий проверять гарантии DP в реальном времени. Этот подход основывается на потоковом анализе процесса генерирования данных и обеспечивает **anytime-valid inference**, что означает, что выводы могут быть действительными в любой момент времени. Метод эффективно контролирует **Type I error** (ложноположительные выводы), что является важной особенностью для надежности. **Технические решения и архитектура:** Алгоритм использует потоковые данные, что позволяет проводить проверки в любой момент. Это решает проблему фиксированного размера выборки, которая характерна для традиционных методов. Технический подход включает в себя моделирование потока выводов механизма DP и применение статистических методов для выявления несоответствий. ## Результаты **Эксперименты и данные:** Исследования проводились на различных реалистичных механизмах DP, включая DP-SGD (Differentially Private Stochastic Gradient Descent). Набор данных включал ситуации, в которых DP-гарантии не соблюдались. Результаты показали, что последовательный тест обнаруживает нарушения DP с минимальным числом выборок, что значительно превосходит эффективность традиционных методов. **Результаты сравнения:** Например, при выявлении нарушений DP-SGD метод потребовал всего одной итерации обучения вместо необходимости выполнить весь процесс обучения, как требуются традиционные методы. Это позволяет экономить ресурсы и уменьшать время проверки. ## Значимость **Области применения:** Этот подход может быть применен в ситуациях, когда необходимо реальное время мониторинга соблюдения DP в течение вычислительных процессов. Например, в системах машинного обучения, где гарантии приватности должны быть видимы в реальном

--------------------------------------------------------- ## Контекст --------------------------------------------------------- Область исследования — автоматизация процессов по pentesting с использованием Large Language Models (LLMs), которая набирает все большую популярность в силу потенциала повышения эффективности и консистентности в оценке системных уязвимостей. Несмотря на этот потенциал, существующие LLM-based agents для pentesting часто полагаются на self-guided reasoning, который ведет к неточностям, hallucinated actions или циклическим решениям. Эти проблемы приводят к неэффективности в работе Agenet и потере времени на unproductive actions, таких как попытки использовать неактивные software libraries или повторение уже проведенных техник. Требуется метод, который сможет ограничить работу LLM с помощью уже проверенных penetration testing methodologies. Такой подход может повысить как точность, так и эффективность автоматизированных pentesting исследований. ## Метод --------------------------------------------------------- Методология разработана на основе deterministic task tree, построенного на основе MITRE ATT&CK Matrix — востребованной в профессиональном pentesting инфраструктуры. Этот task tree включает в себя разделение на определенные tactics, techniques, и procedures, которые формируют ключевые этапы pentesting chain. LLM-based agent использует этот task tree как основу для рассуждений, что позволяет исключить непродуктивные или самодостаточные действия. Такая архитектура создает для LLM фреймворк, который приводит к более предсказуемому и точному поведению. Эталонные LLMs (Llama-3-8B, Gemini-1.5, и GPT-4) были использованы для оценки проработки 10 HackTheBox pentesting exercises с 103 отдельными subtasks, представляющими реальные cyberattack сценарии. ## Результаты --------------------------------------------------------- Логика определенного task tree позволила LLM-agent выполнить 71.8%, 72.8%, и 78.6% subtasks при использовании Llama-3-8B, Gemini-1.5, и GPT-4, соответственно. Это существенно превосходит результаты state-of-the-art LLM penetration testing tools, которые, используя self-guided reasoning, прошли только 13.5%, 16.5%, и 75.7% subtasks. Более того, эти стандартные методы требуют значительно большего числа model queries — 86.2%, 118.7%, и 205.9% в сравнении с новым подходом. Это демонстрирует улучшенную точность и эффективность за счет использования guided reasoning. ## Значимость --------------------------------------------------------- Результаты имеют практическое значение в области cybersecurity, где эффективность и точность pentesting играют ключевую роль. Новая guided reasoning pipeline может быть применена в системах для защиты enterprise systems, повысив как точность, так и эффективность. Благодаря deterministic task tree, LLM agent может сфокусироваться на выполнении только продуктивных действий, что сокращает время и ресурсы на поиск уязвимостей. Это имеет потенциал для повышения уровня защиты компаний от cyber threats. ## Выводы --------------------------------------------------------- Результаты исследований показывают, что интеграция deterministic task tree в LLM-driven pentesting pipelines может значительно повысить точность и эффективность автоматизированных pentest

## Контекст В последние годы развитие больших языковых моделей (LLMs) позволило использовать их в различных областях, от бизнеса до здравоохранения. Однако с ростом популярности этих моделей возникли новые системные риски, связанные с их распространением через публичные платформы. Несмотря на базовые проверки безопасности, которые проводятся платформами, такими как Hugging Face, некоторые скрытые негативные манипуляции могут оставаться незамеченными. В частности, нестандартные воздействия в слое эмбедингов могут привести к нежелательным последствиям во время использования моделей. Этот факт подчеркивает необходимость создания более эффективных методов для обеспечения безопасности внедрения LLMs. ## Метод Работа предлагает Search-based Embedding Poisoning (SEP), модели-агностичный подход, который стремится внедрить незаметные пограничные шумы в слой эмбедингов без изменения модели или входных данных. Основная идея заключается в использовании оптимизированных методов поиска, чтобы подобрать максимально эффективные пертурбации. Эти пертурбации создают неуловимые изменения в выходных данных модели, которые приводят к подмене результатов с высокой вероятностью. Эксперименты проводятся на последовательности входных текстов, содержащих высокорисковые слова, которые могут вызвать повреждение безопасности. ## Результаты В результатах экспериментов показано, что SEP может эффективно изменять результаты модели, при этом никак не изменяя оригинальное поведение модели и не вызывая никаких предупреждений систем безопасности. Фреймворк SEP эффективен в поиске теневых участков в эмбединговом пространстве, которые влияют на модельное поведение. Было проведено 6 экспериментов с разными LLMs, и успешность атак составила 96,43%, при этом модель продолжала выполнять свои задачи без каких-либо дополнительных проблем. Это подтверждает эффективность SEP и выявляет критические уязвимости в системах безопасности LLMs. ## Значимость Работа SEP открывает возможности для более точного исследования и защиты эмбедингов в LLMs. Благодаря этому подходу можно не только выявлять уязвимости в текущих моделях, но и развивать безопасные системы внедрения моделей в будущем. Особенно важная значимость SEP заключается в том, что он не требует изменения моделей или входных данных, что делает его работу незаметной для систем безопасности. Это может быть критично для обеспечения безопасности в производственных средах. ## Выводы SEP показал, что даже самые тонкие изменения в слое эмбедингов могут приводить к серьезному изменению модели. На основе этих находок будут проводиться дальнейшие и

## Контекст Область исследования ко cov דаной статьи состоит в оценке безопасности механизмов протокола з в области машинного обучения. Несмотря на выгоды, связанные с модельным обменом через фреймворки и платформы, эту область остается нередко недооцененной с точки зрения безопасности. Это связано с ограниченной степенью осознания рисков, как у разработчиков, так и у клиентов. Общественность принимает модели, разделяемые с использованием фреймворков, за достаточно безопасные, несмотря на то, что на самом деле риски остаются большими. Данная статья анализирует текущий подход к системам безопасности, стремится определить факторы, влияющие на понимание безопасности пользователями, и выявляет сWEBSITE лабы, связанные с текущими платформами обмена моделями. Целью работы является содействие развитию безопасного культуры обмена моделями в сфере машинного обучения. ## Метод Для достижения поставленных целей, авторы применяют множество методов, включая: 1. **Оценка безопасности фреймворков и платформ:** Авторы исследуют широкий спектр фреймворков, которые используются для обмена моделями, оценивая их возможности, характеристики и стандарты безопасности, которые они реализуют. 2. **Анализ уязвимостей:** Авторы проводят детальный анализ системы безопасности, используя различные техники, такие как penetration testing и fuzzing. Они открывают и анализируют 0-day vulnerabilities, которые могут позволить атакам с arbitrar code execution. 3. **Сбор пользовательских данных:** Работа также включает в себя опрос пользователей, чтобы изучить их понимание рисков безопасности при работе с моделями и их отношение к представляемым фреймворками механизмам безопасности. ## Результаты Основные находки и результаты работы можно суммировать следующим образом: 1. **Оценка фреймворков и платформ:** Авторы обнаружили, что большинство фреймворков и платформ не полностью решают проблему безопасности. Некоторые из них ограничиваются лишь косвенными мерами безопасности, например, предоставлением рекомендаций или предупреждений пользователям. 2. **Открытие 0-day vulnerabilities:** Авторы обнаружили шесть новых уязвимостей, открывающих возможность для arbitrary code execution. Эти уязвимости были открыты в различных фреймворках, которые анонсируют свою безопасность. 3. **Пользовательские ощущения безопасности:** Сервисы, которым доверяют пользователи, считаются безопасными, даже если они не полностью защищены. Это подтверждается результатами опроса, где пользователи выражали большую доверительность к системам, которые они считают "серьезными" и "безопасными

#### Контекст Машинное обучение (ML) становится важной частью современной цифровой экономики, но при этом подвержено широкому спектру атак на конфиденциальность. Одна из таких атак — Membership Inference Attack (MIA) — направлена на определение того, были ли конкретные данные включены в обучающую выборку модели. Эта информация может быть эксплуатирована для угадывания конфиденциальных характеристик обучающих данных, что приводит к нарушению конфиденциальности. Существующие MIA-атаки требуют значительного количества вычислительных ресурсов, так как основываются на обучении множества независимых темновых моделей, которые имитируют поведение модели-цивилизации. Это приводит к высокой стоимости и неэффективности в реальных условиях применения. #### Метод Мы предлагаем новый подход, **Imitative Membership Inference Attack (IMIA)**, который уменьшает вычислительный overhead, существенно используя одну целевую модель для обучения. Данный подход использует **стратегическую технику imitative training**, которая позволяет построить несколько имитативных моделей, которые хорошо воспроизводят поведение целевой модели. Эти модели используются для оценки членства в выборке без необходимости обучать множество независимых моделей. Имитационная модель тренируется на выходных данных целевой модели, что позволяет ему понять, как модель реагирует на различные входные данные. #### Результаты Мы провели эксперименты с различными моделями ML, такими как линейные, градиентные бустинговые модели и нейронные сети. Наши результаты показывают, что IMIA по сравнению с современными MIA-атаками показала значительное улучшение в точности определения членства в выборке. Например, IMIA достигла точности ~95% при том же числе деталей, но с меньшим количеством моделей и стоимостью вычислений. Эксперименты также показали, что IMIA работает эффективно в разных типах моделей и наборах данных, оставаясь эффективной даже при ограниченных ресурсах вычислений. #### Значимость IMIA может быть применена в различных сферах, где требуется защита конфиденциальности данных, таких как здравоохранение, финансы и образование. Одним из преимуществ является значительное сокращение процессов обучения и требуемых ресурсов, что сделает атаку более доступной в реальных условиях. Это может привести к более эффективной и безопасной моделированию, уменьшив риск вытекающих из нехватки ресурсов нарушений конфиденциальности. В будущем, мы планируем расширить IMIA для более сложных моделей, таких как глубокие нейронные сети, и изучить ее применение в живых системах. #### Выводы IMIA представляет собой устойчивый подход к оценке членства в выборке, который значительно сокращает ресу

## Контекст С возрастом технологий искусственного интеллекта появились новые виды угроз, которые могут использоваться для коварных атак на системы, основанные на Больших Лингвистических Моделях (LLMs). Эти модели, пользуясь их мощью и гибкостью, становятся добычей для злоумышленников, которые могут уклониться от защитных мер, превратив LLM в угрозу для пользователей. Такие атаки могут привести к утечке конфиденциальной информации, распространению ложной информации, а также повреждению доверия к системам. Защита таких моделей является ключевым вызовом для современных исследователей, который необходимо решить для стабильного развития интеллектуальных систем. ## Метод Для описания угроз и разработки защитных мер в работе используется программная модель, которая позволяет структурировать типы атак, а также анализировать результаты их попыток. Метод состоит в следующем: 1) описание различных типов атак, построенных на манипуляции свойств привлечения, 2) распределение этих типов в категории, 3) разработка мер защиты, которые могут снизить эффективность атак и обеспечить безопасность. Основной архитектуре способа является то, что она фокусируется на понимании и создании границ, ограничивающих возможные атаки. ## Результаты Работа включает в себя исследование различных типов атак на LLM, использующихся в разных сценариях. Для этого проводились эксперименты, в которых протестировались различные методы атак, в том числе информационно-привлекательные и масштабные атаки. Эксперименты были проведены на наборе данных, который включал различные типы текстов, в том числе новости, письма и социальные медиа материалы. В результате этих исследований был выявлен комплекс уязвимостей, которые могут быть использованы для атак. Также были определены меры защиты, которые способны снизить эффективность таких атак. ## Значимость Метод, разработанный в работе, может быть применен для защиты систем, использующих Большие Лингвистические Модели. Он может быть использован для повышения безопасности систем, которые работают с пользовательскими данными, включая информацию о финансовых операциях, личные данные, и другую конфиденциальную информацию. Помимо этого, метод может быть применен в сферах, где необходимо предотвратить распространение ложной информации, укрепить доверие пользователей к системам и уменьшить риски утечки информации. ## Выводы Работа позволяет выделить комплекс угроз, связанных с Большими Лингвистическими Моделями, и разработать защитные меры

## Контекст Federated learning (FL) представляет собой метод обучения моделей машинного обучения, где модель обучается на децентрализованных данных, расположенных на клиентских устройствах. Объединение FL с локальной дифференциальной частностью (LDP) позволяет обеспечить приватность данных при обучении модели. Однако децентрализованный подход к управлению данными делает LDPFL уязвимым к атакам, особенно моделированию отравления (model poisoning attacks, MPA), когда злоумышленники вносят злонамеренные обновления в глобальную модель, чтобы нарушить ее сходимость. Хотя LDPFL показало свою эффективность в обеспечении приватности, его устойчивость к MPA остается нерешенной проблемой. Это способствует мотивации к исследованию способов оценки устойчивости LDPFL к подобным атакам. ## Метод Мы разработали расширяемую модель для злонамеренных атак на LDPFL, ориентированную на максимизацию глобальной потери обучения, соблюдая ограничения локальной дифференциальной частности. Чтобы обходить защиту, основанную на таких методах, как Multi-Krum и trimmed mean, мы разработали адаптивные атаки, использующие в обратном обучении специально проектированные ограничения. Эти атаки способны эффективно обходить даже сложные защитные механизмы. Мы проверили нашу модель на трех представительных LDPFL-протоколах, данных из трех бенчмарковых датасетов и двух видов нейронных сетей. Мы также исследовали влияние данных о данных и параметров приватности на эффективность атак. ## Результаты Наши эксперименты показали, что адаптивные атаки могут значительно снизить производительность глобальной модели, демонстрируя критические уязвимости в LDPFL. Мы установили, что эффективность атак напрямую зависит от степени неоднородности данных и изменения параметров приватности. Например, на датасете CIFAR-10 с использованием двух слоев нейронной сети мы обнаружили, что наша атака может увеличить глобальную потерю обучения в 5 раз по сравнению с безуязвимой моделью. Эти результаты являются критически важными для понимания проблемы MPA в LDPFL. ## Значимость Наша работа предоставляет новый подход к оценке устойчивости LDPFL, который может быть применен в различных приложениях, где гарантирована приватность данных. Она демонстрирует потенциал для развития более надежных стратегий защиты FL от злонамеренных участников. Благодаря нашим результатам, разработчики могут создавать более прочные LDPFL-системы, улучшая их устойчивость к отравлению моделей. ## Выводы Наше исследование показало, что злонамеренные атаки могут значительно ухудшить производительность LDPFL-систем. Мы разработали адаптивные модели, которые эффективно обходя

#### Контекст Транзакции в Ethereum, как и в других блокчейн-системах, могут быть использованы для незаконных целей, таких как мошенничество, денежная сбытка и другие криминальные действия. Традиционные методы обнаружения мошенничества в Ethereum основываются на анализе последовательностей транзакций, которые либо не учитывают семантические аспекты транзакций, либо недостаточно эффективны для обнаружения учетных записей, которые могут быть задействованы в мошенничестве. Более того, высокая схожесть между транзакциями порождает проблему обучения дискриминативных представлений учетных записей. Наконец, существующие самостоятельные графовые методы либо недостаточно эффективны для обнаружения учетных записей, либо сталкиваются с проблемами масштабируемости. Наша мотивация заключается в разработке универсального и прочного метода для обнаружения мошенничества в Ethereum, который учитывает семантические характеристики транзакций и масштабируется для больших данных. #### Метод Мы предлагаем LMAE4Eth, много birds-eye view фреймворк для обнаружения мошенничества в Ethereum. Он объединяет три ключевых компонента: транзакционно-токенное контрастирующее языковое моделирование (TxCLM), токен-активное контрастирующее обучение (TACL) и генеративное обучение с самостоятельным самоучителем (MAGAE). TxCLM преобразует транзакционные последовательности в собственно языковые представления, чтобы повысить логическую целостность транзакций. TACL, в свою очередь, работает на уровне токенов, чтобы учитывать семантические различия между учетными записями. Мы также предлагаем маскированный графовый автокодировщик (MAGAE), который использует самостоятельное обучение для построения вы expreesive представлений учетных записей. Также мы предлагаем новую методику сэмплирования уровней соседей (Layer-Neighbor Sampling), которая уменьшает количество узлов, необходимых для обучения, не ухудшая качество. Наконец, мы используем кросс-аттенционную сеть для объединения представлений TxCLM и MAGAE, чтобы сочетать преимущества обеих моделей. #### Результаты Мы провели эксперименты на трех различных датасетах, сравнив наш метод с 21 базовыми подходами. Наши результаты показали, что LMAE4Eth превосходит лучшую базовую модель по метрике F1-score на 10% или более в двух из трех наборов данных. Эти результаты подтвердили то, что наш подход эффективен в обнаружении мошенничества и способен удачно масштабироваться для больших датасетов. #### Значимость Метод LMAE4Eth может быть применен в различных областях, где требуется обнаружение мошенничества в транзакционных системах, таких как финансовые сист

#### Контекст Современные кластеры Kubernetes (K8s) широко используются для оркестрации контейнерных приложений. Однако такая мощность не свободна от проблем, в том числе неправильной конфигурации ресурсов и слишком широких привилегий, которые могут привести к несанкционированному доступу, эскалации привилегий и досадному мобилизации в кластере. Доступные решения, такие как статический анализ и аномалий-обнаружения, часто недостаточно эффективны, поскольку они не учитывают реальное поведение системы. Необходимо разработать способ, который бы оптимизировал конфигурации Kubernetes в реальном времени на основе динамических данных. #### Метод KubeGuard — это рекомендательная система, основанная на анализе журналов жизненного цикла Kubernetes и методик генерирования конфигураций с помощью бо LLM. Эта система работает через модульные рабочие процессы, использующие промпты для обработки манифестов и интерпретации журналов системы. Техническая архитектура KubeGuard включает два основных пути: создание ресурсов с минимальными привилегиями (Resource Creation) и оптимизацию существующих конфигураций (Resource Refinement). За счет этого подхода KubeGuard может адаптироваться к разным сценариям безопасности Kubernetes. #### Результаты В ходе экспериментов была проверена эффективность KubeGuard на анализе и корректировке манифестов для ролей (Roles), политик сети (NetworkPolicies) и развертываний (Deployments). Алгоритмы LLM, управляемые модулями промптов, позволили сгенерировать манифесты с высокой точностью и полнотой. Результаты показали, что KubeGuard удачно обрабатывает сложные конфигурации, сокращая их атакующую поверхность. Обнаружено, что хорошо работает стабильность и точность рекомендаций, что подтверждает ценность этого подхода в автоматизированной ангажированной конфигурации Kubernetes. #### Значимость KubeGuard может применяться в различных областях, включая инфраструктуру безопасности, администрирование Kubernetes и DevOps. Он обеспечивает значительное снижение риска неудачной конфигурации, упрощает управление безопасностью и может быть интегрирован с автоматизированными системами DevOps. Ключевое преимущество — это использование динамических данных для генерации конфигураций с минимальными привилегиями, что обеспечивает эффективное управление рисками. #### Выводы KubeGuard доказал свою эффективность в генерации и оптимизации манифестов Kubernetes, обеспечивая минимальную поверхность атаки. Будущие работы будут сосредоточены на расширении функциональности, улучшении точности рекомендаций и интеграции с другими системами безопасности для еще большей эффективности.

## Контекст В последние десятилетия, область прикладного исследования в области генетики и биотехнологии развивается в стремительном темпе. Несмотря на это, существуют некоторые проблемы в понимании и управлении потоком данных, в частности в сфере защиты персональных данных. Ранее работы в области Дифференциальной Защиты Данных (Differential Privacy, DP) рассматривали пользовательские данные и их предпочтения в отношении защиты в раздельном виде, предполагая, что эти два аспекта независимы. Однако на практике существует история взаимосвязи между данными конкретного пользователя и его требованиями к защите. Таким образом, требуется разработка новых подходов, которые учитывают эти взаимосвязи. ## Метод Мы предлагаем новую модель Add-remove Heterogeneous Differential Privacy (AHDP), которая учитывает взаимосвязь между пользовательскими данными и их требованиями к защите. Методология основывается на гибридном подходе, использующем операционный анализ на основе тестирования гипотез. Мы также предлагаем алгоритмы, не требующие предварительной информации о степени зависимости между данными и требованиями к защите. Это моделируется с помощью математического аппарата, включающего структурные расчеты и оценки вероятности, чтобы обеспечить целостную формализацию. ## Результаты Мы провели эксперименты с использованием синтетических данных, генерируемых с помощью технологии Больших Лингвистических Моделей (LLM). Наши методы были применены к основным статистическим задачам, таким как оценка среднего, частотная оценка и линейная регрессия. Результаты показали, что AHDP-фреймворк не только учитывает взаимосвязи данных и защиты, но и демонстрирует высокую точность и стабильность в различных сценариях. Мы также выпустили генерируемые данные для дальнейшего использования в академических исследованиях. ## Значимость Наши результаты имеют значительное значение для области защиты персональных данных в рамках развития биотехнологий и генетики. Альтернативный подход AHDP может использоваться в многих задачах, где требуется учитывать взаимосвязь между данными и требованиями к защите, что делает его привлекательным для реального применения. Более того, наша работа может быть применима в других областях, где необходимо анализировать зависимости между переменными. ## Выводы Мы успешно продемонстрировали значимость нового подхода AHDP в учёте взаимосвязи между данными и защитой. Наши методы не только обеспечивают целесообразность защиты данных, но и демонстрируют свою эффективность в реальных ситуациях. Будущие исследования б