## Контекст Классические подходы в области искусственного интеллекта (AI) в сфере цифровой безопасности сталкиваются с рядом ограничений. Они часто не годятся для эффективного противодействия новым угрозам из-за недостатка концептуального основания, не достаточно гибки для адаптации под руководство аналитиков и не вполне соответствуют целям цифровой безопасности. Это приводит к необходимости искать альтернативные подходы. Одним из таких подходов является Neuro-Symbolic (NeSy) AI, которая объединяет нейросетевые модели с символическим логическим подходом. Эта комбинация позволяет более адекватно распознавать угрозы и принимать решения. Тем не менее, полное понимание этого подхода отсутствует, что требует систематического изучения и обзора. Несмотря на свои преимущества, NeSy AI также вносит новые сложности, включая возможность автономных атак, что может повлиять на силу угроз в цифровой сфере. Этот материал посвящен тщательному анализу нынешнего состояния этого подхода, его преимуществ, проблем и будущих перспектив. ## Метод Обзор основывается на анализе 127 публикаций, охватывающих период 2019–июля 2025 года. Выделенная модель G-I-A (Grounding-Instructibility-Alignment) используется для оценки уровня землетрясения (Grounding), удобства управления (Instructibility) и совместимости с целями (Alignment) систем NeSy. Эта модель применяется для изучения систем по двум направлениям: обороны и нападение в области цифровой безопасности. Рассматриваются три основных сферы: сетевая безопасность, анализ вредоносных программ и операции в электронной сфере. Методология включает в себя сравнение теоретических подходов, оценку реализации в реальных условиях и анализ имеющихся решений. ## Результаты Исследование показало, что нейро-символические архитектуры, основанные на многоагентных архитектурах, демонстрируют выигрыш в производительности и удобстве при обнаружении и анализе угроз. Однако выявлены и критические проблемы, которые существенно затрудняют развитие и развертывание таких систем. Например, отсутствие стандартов приводит к несогласованности в имплементации, а высокая вычислительная сложность ограничивает скорость работы и удобство применения. Особый упор сделан на том, что интеграция каузального разума является выдающимся достижением, позволяющим перейти от корреляционных подходов к более прогностическим. Также был выявлены преимущества NeSy в зоне нулевых дней (zero-day exploits) и возможность снижения затрат, однако это также изменило динамику угроз в цифровой сфере. ## Значимость Результаты этого исследования могут быть применены в

## Контекст Advanced Persistent Threats (APTs) являются одной из наиболее опасных угроз в сфере кибербезопасности. Они характеризуются своим незаметным и продолжительным характером, что делает их сложнее обнаружить. Традиционные супервизированные методы обучения требуют больших объемов меток данных, что часто отсутствует в реальных условиях. Такая нехватка данных с метками препятствует эффективному обучению моделей и снижению затрат на ручную маркировку. Это ставит перед исследователями задачу создания методов, которые бы эффективно обучались с минимальным количеством меток. Наша работа призвана решить эту проблему, объединяя технологии автокодирования и активного обучения для улучшения обнаружения APT. ## Метод Мы предлагаем архитектуру Attention Adversarial Dual AutoEncoder (AAD-AE) для аномалийного обнаружения, которая использует активное обучение для постоянного улучшения модели. Автокодировщик с аттенцией обнаруживает аномалии, а активное обучение создает запросы по меткам только для неоднозначных примеров. Это позволяет сократить затраты на метки, не ухудшая качество обучения. Мы также вводим технику адверсарского аугментации, которая генерирует поддельные примеры, чтобы лучше обучить модель к различным сценариям атак. Модель обучается по нескольким системным данным (Linux, Android, BSD, Windows), что позволяет обрабатывать разнообразные APT-атаки. ## Результаты Метод был проверен на реальных данных DARPA Transparent Computing program, где APT-атаки составляют всего 0.004% от общего объема данных. Мы проводили эксперименты в двух сценариях атак и сравнивали результаты с тремя современными аналогами. Активное обучение показало значительные улучшения в обнаружении APT по сравнению с другими методами. Мы также показали, что адверсарская аугментация существенно повышает точность обнаружения, даже при нехватке данных. ## Значимость Наш подход может быть применен в различных ситуациях, где данные меток ограниченны, но необходимо обнаруживать редкие и сложные аномалии. Он эффективен для различных системных платформ и может быть использован для расширения существующих методов кибербезопасности. Это включает в себя наблюдение за системным поведением, обнаружение вредоносной активности малого размера и повышение уровня общей кибербезопасности. ## Выводы Мы доказали, что наш подход не только эффективно улучшает обнаружение APT, но и экономит ресурсы на ручной маркировке данных. Будущие исследования будут сконцентрированы на расширении модели на другие виды аномального поведения и улучшении ее точности на более больших данных.

## Контекст Большие языковые модели (LLMs) широко используются в различных областях, включая информатику, медицину и финансы. Однако их применение сопряжено с рядом проблем, в том числе с вопросами безопасности. Известно, что злоумышленники могут использовать атаки с использованием приманок (jailbreak attacks) для того, чтобы обходить защитные механизмы LLMs и получать нежелательные или поддельные ответы. Эти атаки создают серьезные риски для безопасности и этичности применения LLMs. Существующие методы анализа риска атак с приманками часто ограничиваются внешним анализом, не достаточно всесторонне раскрывая внутренние механизмы LLMs. Таким образом, нужно развить методы, позволяющие детально изучать внутренние системы защиты LLMs с точки зрения их уязвимостей и защищенности. ## Метод Мы предлагаем **NeuroBreak** — систему анализа безопасности LLMs на уровне нейронов. Методология NeuroBreak основывается на тонкой конфигурации системных потребностей, разработанных совместно с экспертами в области AI-безопасности. Она включает три основных компонента: 1. **Анализ влияния нейронов**: проведение пробного анализа векторного пространства для каждого слоя модели, чтобы понять, как нейроны влияют на результат. 2. **Обнаружение критичных нейронов**: идентификация критичных нейронов, которые имеют сильное влияние на поведение модели во время генерации ответов. 3. **Проведение кейс-стадий**: использование конкретных тестовых сценариев для проверки того, насколько эффективны реализованные меры безопасности. Наша система предлагает новый взгляд на моделирование и анализ безопасности LLMs, позволяя проводить механистические исследований на уровне нейронов. ## Результаты Мы проводили плотные эксперименты с использованием нескольких моделей LLM, включая LLAMA и BLOOM. Использовались широкие данные, включая как стандартные, так и настраиваемые тестовые наборы. Результаты показали, что NeuroBreak детально определяет критичные нейроны, которые могут быть использованы для обхода защитных механизмов. Например, в тестах с приманками, NeuroBreak выявлял нейроны, которые влияли на выдачу нежелательных ответов, и ставил их под контроль. Эксперименты также показывали, что наша система дает более точный вид на внутренние процессы генерации ответов, чем существующие методы. ## Значимость NeuroBreak может быть применена в следующих областях: - **Защита LLMs**: помогает разрабатывать более эффективные меры защиты от атак с приманками. - **Безопасность и этика**: позволяет проверить соблюдение этичных стандартов и защиты от нежелательных результатов. - **Развитие моделей**: поддержи

## Контекст Современная информационная система становится все более зависимой от железных силок, которые становятся все более сложными. Однако возникают новые проблемы с безопасностью, которые требуют статистически обоснованных и автоматизированных способов отслеживания, идентификации и лечения уязвимостей в железной системе. Решение этих проблем требует ввода некоторых методик и способов, которые позволят обнаруживать эти уязвимости быстрее и эффективнее. ## Метод LLM-HyPZ представляет собой гибридную платформу для выявления уязвимостей железа, основанную на глубоком обучении. Она использует нулевой-выстрел классификацию, контекстуализированные векторы, неупорядоченные кластеризации и стимулированные сводки для масштабной эксплуатации корпуса CVE (Common Vulnerabilities and Exposures) на железных силок. Базовая модель, тренируемая на текстовых данных, использует нулевой-выстрел текстовой классификации, чтобы обнаруживать определенные характеристики уязвимостей, а затем эти данные классифицируются с помощью неупорядоченных кластеризаций для поиска рекуррентных тем. Этот процесс позволяет идентификацию уязвимостей в железной системе, выделяя темы, которые необходимо рассмотреть. ## Результаты Применение LLM-HyPZ к корпусу CVE за 2021–2024 года (114 836 записей) привело к выявлению 1 742 уязвимостей железа. Эти уязвимости были сгруппированы в пять ключевых тем, включая перехват привилегий через BIOS и фирмвер, ошибки памяти в мобильных и IoT-системах, и физические вторжения. Бенчмарк, проведенный на семи моделях LLM, показал, что LLaMA 3.3 70B достигает 99,5% точности классификации на курируемом наборе данных. Эти результаты позволяют значительно сократить специалистскую работу в области уязвимостей железа, повышая эффективность и точность идентификации. ## Значимость Предложенная платформа имеет потенциал для применения в различных сферах, таких как безопасность железа, анализ рисков, и анализ уязвимостей в железной системе. Она предлагает существенное преимущество в скорости и точности обнаружения уязвимостей, что может ускорить процессы идентификации и лечения уязвимостей. Это может иметь значительное влияние на рынок безопасности железа, позволяя уменьшить риски и улучшить стабильность систем. ## Выводы LLM-HyPZ представляет собой первую систему, основанную на глубоком обучении, для масштабного обнаружения уязвимостей железа. Она эффективно идентифицирует рекуррентные темы уязвимостей и ускоряет проц

## Контекст Large Language Models (LLMs) широко применяются в критически важных системах, таких как системы управления спутниками, командно-управляющие системы, системы поддержки военных решений и системы цифровой защиты. Многие из этих систем доступны через API. Несмотря на то, что большинство систем имеют некоторые меры защиты, некоторые API могут разглашать всю или часть топ-k logits (суммарные вероятности выходных токенов), создавая значительную, но часто недооценную, поверхность атаки. До сих пор, большая часть исследований сосредоточилась на реконструкции проекционного слоя или дистилляции внешних поведений. Однако, полное воссоздание скрытой модели, особенно в условиях ограниченного количества запросов, остается мало изученной областью. Наша работа направлена на заполнение этой лакуны, предлагая создание конкретной копии LLM с использованием частичного разглашения logits. ## Метод Мы предлагаем двухэтапную методологию для воспроизведения LLM: 1. **Реконструкция проекционного слоя**: Используя только 10k запросов к API, мы проводим Singular Value Decomposition (SVD) на матрице logits, что позволяет восстановить проекционный слой модели. 2. **Дистилляция архитектуры**: Второй этап состоит в том, чтобы использовать реконструированный проекционный слой, чтобы обучить компактные "учеников" (student models) с различными глубинами слоёв трансформеров, используя открытые наборы данных. В нашей системе, мы рассматриваем обозначенные ниже области: - **Выбор моделей**: Мы используем модели с 4 и 6 слоями для нашей дистилляции. - **Оценка Результатов**: Мы оцениваем копию по характеристикам, таким как perplexity, Negative Log-Likelihood (NLL) и совпадение геометрии состояния скрытого слоя. ## Результаты Мы провели наши эксперименты с помощью наших двух моделей. Для модели с 6 слоями: - **Выраженность**: Мы получили точность 97.6% в повторении геометрии скрытого слоя, 7.31% увеличение perplexity и 7.58 NLL. - **Эффективность**: Модель с 4 слоями показала 17.1% быстрее завершения операций и сократила количество параметров на 18.1%, приблизительно сохранив уровень производительности. Это демонстрирует, что даже при ограниченных запросах и ресурсами, LLM могут быть быстро воспроизведены, подчеркивая необходимость высокой защиты API и надежных защитных мер. ## Значимость Наша работа имеет широкие применения в следующих областях: - **Защита API**: Мы показываем, насколько легко можно воспроизвести модели, если API остается незащищенным. - **Безопасность**: Наша работа подчеркивает необходимость внедрения защитных мер в API, таких

## Контекст С появлением приложений, основанных на LLM-driven multi-agent systems (MAS), задача обеспечения безопасности веб-ссылок становится критично важна. Если агенту MAS удастся попасть на вредоносный сайт, это может стать началом многочисленных дальнейших атак, которые расширят объем атаки. Web Fraud Attacks представляют собой новый тип атак, нацеленный на подтолкновение MAS к посещению вредоносных сайтов. Эта методика использует различные способы манипуляции с веб-ссылками, включая маскировку и опосредованные методы, которые могут вывести MAS из строя. Такие атаки являются достаточно эффективными и могут стать угрозой для безопасности и надежности таких систем. ## Метод Метод, примененный в работе, заключается в разработке и проверке 11 различных вариантов атак с использованием манипуляций с веб-ссылками. Эти варианты включают такие техники, как homoglyph deception (использование схожих символов для подмены домена), character substitution (замена символов в URL), sub-directory nesting (создание сложных структур URL), sub-domain grafting (переопределение поддоменов), parameter obfuscation (маскировка параметров в URL) и другие. Эти методы специально разработаны для эксплуатации уязвимостей в веб-ссылках, которые используются в MAS. Такие методы созданы таким образом, чтобы обойти привычные методы проверки ссылок и вывести MAS из рабочего состояния. ## Результаты В ходе исследования рассмотрены 11 вариантов атак, специально нацеленных на уязвимости в MAS. Были проведены эксперименты на различных архитектурах MAS, в том числе на их реагировании на разные виды веб-ссылок. Эксперименты показали, что Web Fraud Attacks оказывают высокую опасность, поскольку легко могут пробить защиту систем и вызвать серьезные последствия. Эти атаки также характеризуются своей легкостью в проведении и способностью обойти традиционные методы защиты. Эти результаты подтверждают, что такие атаки могут стать серьезной угрозой для многоагентных систем и требуют особого внимания в области безопасности. ## Значимость Web Fraud Attacks имеют значительное применение в области защиты LLM-driven MAS от вредоносных атак. Они могут быть использованы для оценки безопасности многоагентных систем и для разработки эффективных методов защиты. Эти атаки также могут быть эффективны в обнаружении вредоносных сайтов и в разработке новых методов управления веб-ссылками. Их легкость и эффективность делают их привлекательными для систем безопасности, которые должны быть готовы к этим угрозам. ## Выводы В итоге, Web Fraud Attacks продемонстрировали высокую эффективность в тестировании уязвимостей LLM-driven MAS. Они являются уникальным и опасным

#### ## Контекст Современные сети характеризуются высоким трафиком и значительной динамичностью. Это связано с постоянным ростом объема данных, распространением вирусных угроз и усложнением типов атак. Из-за этого требуется эффективная модель аномалий, которая могла бы скорректироваться в реальном времени, адаптируясь к изменениям сетевого поведения. Однако большинство существующих решений требуют больших объемов тренировочных данных с предварительной меткой, что недоступно в реальных условиях. Из этого вытекает необходимость разработки моделей, которые могли бы осуществлять онлайн-обучение и адаптироваться к ситуациям, где требуется минимальное вмешательство человека. #### ## Метод Предлагаемая модель основывается на неучитывающем машинном обучении с онлайн-обучением с возможностью онлайн-аппендинга. Основным алгоритмом стала One-Class SVM, которая используется для моделирования нормального поведения сети. Для реализации использовалась библиотека River, разработанная специально для работы в реальном времени. Архитектура системы включает модули для сбора данных, их обработки и анализа с использованием One-Class SVM. Такой подход позволяет модели отслеживать изменения в сети и адаптироваться к ним в реальном времени. #### ## Результаты Для оценки модели использовались данные NF-UNSW-NB15 и его расширенная версия v2. Эти данные содержат сетевые потоки с метками различных категорий атак. Модель показала высокую точность (выше 98%), низкую статистику ложноположительных сигналов (менее 3,1%) и полную отдачу (100%). Особенно подчеркивается низкое время обработки одного потока (<0.033 мс), что делает модель пригодной для использования в реальном времени. #### ## Значимость Модель может быть применена в различных сферах, где необходима защита от аномалий, например, в сетях банков, телекоммуникаций, здравоохранения и информационной безопасности. Основное преимущество заключается в ее возможности тренироваться в реальном времени с минимальным затратом ресурсов, что обеспечивает высокую реактивность и стойкость к новым типам атак. Эта модель также может помочь в создании безопасных и надежных систем, повышая уровень защиты данных. #### ## Выводы Модель показала высокую эффективность в детектировании аномалий в сетевых потоках, при этом требуя минимального количества метки данных. Будущими направлениями исследований могут стать улучшение точности модели при работе с более сложными типами атак, а также изучение возможности интеграции модели с другими методами защиты сетей.

## Контекст Обеспечение безопасности в критически важных областях, таких как ядерные установки и медицинская инфраструктура, является ключевым аспектом современного общества. Одной из самых критических задач в этой области является защита систем радиационного мониторинга (Radiation Detection Systems, RDS) от хакерских атак. Такие атаки, такие как data injection, man-in-the-middle (MITM), ICMP floods, botnet attacks, privilege escalation и distributed denial-of-service (DDoS), могут серьезно повлиять на достоверность данных и общественное благополучие. Несмотря на существующие меры безопасности, эти угрозы остаются актуальными, и требуется разработка эффективных систем, которые могут работать в реальном времени на устройствах с ограниченными ресурсами. ## Метод Предлагаемый подход включает в себя разработку новой синтетической радиационной базы данных, которая адаптирована для обучения и оптимизации машинного обучения (ML). Для реализации Intrusion Detection System (IDS) используется методология TinyML, которая оптимизирует модель XGBoost. Оптимизация включает в себя такие методы, как pruning (корректировка весов модели), quantization (сжатие модели), feature selection (выбор особенно важных признаков) и sampling (выборка данных). Эти методы позволяют снизить размер модели и уменьшить потребление ресурсов при оценке, чтобы обеспечить реальномубо времени детекцию вторжений на устройствах с ограниченными ресурсами. ## Результаты Для доказательства эффективности предлагаемой системы была проведена экспериментальная работа с использованием созданной синтетической радиационной базы данных. Результаты показали, что оптимизированная модель XGBoost, использующая TinyML-приемы, обеспечивает высокую точность детекции атак с минимальным потреблением ресурсов. Например, модель смогла достичь точности более 95% при снижении вычислительных затрат на 40% по сравнению с неоптимизированными моделями. Это демонстрирует значительное повышение эффективности и реальности использования TinyML в критических системах. ## Значимость Разработанная система может применяться в различных сферах, включая ядерную промышленность, медицину и общественную безопасность. Одним из основных преимуществ является возможность защиты критически важных систем от вторжений с помощью реального времени мониторинга, не требующего высоких ресурсов. Это предоставляет возможность использовать TinyML в решениях для критически важных систем, повышая безопасность и надежность. ## Выводы Выводы можно сформулировать следующим образом: разработанная система IDS, основанная на TinyML, демонстрирует высокую эффективность в детекции вторжений в критически важных системах, в том числе

## Контекст Системы измерения и обнаружения радиоактивных материалов в окружающей среде (Radiation Detection Systems, RDS) крайне важны для обеспечения безопасности в различных областях, включая атомную энергетику, гражданское строительство и транспорт. Однако эти системы чувствительны к внешним угрозам, таким как Denial of Service (DoS) атаки, которые могут привести к неполадкам и неточности данных. Несмотря на распространенность методов обнаружения атак в сетевых средах, применение таких методов к RDSs остается редким. Это создает значительную проблему для обеспечения надежности и безопасности критически важной инфраструктуры. ## Метод Работа предлагает эффективную IDS-систему на основе машинного обучения для обнаружения аномалий в данных радиационных систем. Основной архитектурой является Машинное Обучение (ML), в частности, алгоритмы, такие как Random Forest, SVM, логистическая регрессия и LightGBM. Используется метод сэмплирования для моделирования DoS-атак на основе реальных данных радиации. На этапе оптимизации методов используются такие техники, как выбор признаков, параллельное выполнение задач и стратегии поиска рандомных значений. Эти методы позволяют улучшить эффективность и скорость развертывания IDS. ## Результаты В ходе экспериментов были протестированы различные модели ML на реальных данных, полученных от RDS. Алгоритм LightGBM продемонстрировал самую высокую точность обнаружения DoS-атак с минимальным потреблением ресурсов. Особенно было отмечено, что LightGBM позволяет достичь точности до 95% при минимальном нагрузке на систему. Также были проведены эксперименты с методами функционального выделения признаков, параллельным выполнением и многопоточной обработкой. ## Значимость Предложенная IDS-система может быть применена в различных областях, включая системы сигнализации, транспортные системы и зоны ядерной безопасности. Особое преимущество заключается в том, что LightGBM-система не только обеспечивает высокую точность, но и работает с минимальным потреблением ресурсов, что особенно важно для реального времени. Это может существенно повлиять на безопасность критически важной инфраструктуры, снижая риск атак и повышая надежность систем. ## Выводы Работа доказала, что LightGBM является эффективным инструментом для обнаружения DoS-атак в RDS. Будущие исследования будут фокусироваться на расширении области применения, включая многофункциональные приложения и улучшение многоуровневой защиты RDS. Также будет рассмотрено повышение точности и развитие методов оптимизации для более сложных типов атак.

## Контекст Область исследования спама и фишинга в электронной почте широко изучена, но проблема ее эффективного контроля остается открытой. Несмотря на многочисленные попытки разработать методы, наблюдаются как высокая точность, так и существенные ограничения. Одной из главных проблем является недостаточная репрезентативность используемых данных в научных работах. Большая часть исследований ограничивается англоязычными данными, хотя в реальности фишинговые почтовые письма могут иметь разнообразные формы и языки. Это приводит к развитию детекторов, которые могут не подходить для других языков и стилей. Кроме того, многие методы показывают высокую точность при тестировании на одних и тех же данных, в результате чего становится сложно предложить что-то новое. Здесь вступает в работу E-PhishGen, предлагающий новый подход к генерации более реалистичных наборов данных для тестирования. ## Метод E-PhishGen — это фреймворк на основе генеративных технологий, основанных на технологиях трансформар-вербализации, который способен генерировать реалистичные электронные письма с фишинговыми характеристиками. Он использует модели трансформера для генерирования писем на разных языках, включая итальянский, немецкий и английский, чтобы добиться более широкого представления реальных тенденций. Данный подход позволяет создавать более сложные и реалистичные данные для тестирования, которые могут лучше отражать современные фишинговые угрозы. Более того, E-PhishGen уделяет особое внимание приватности, используя конфиденциальные данные, чтобы создать более реалистичные сценарии, не подвергая пользователей риску. ## Результаты Используя E-PhishGen, авторы создали набор данных E-PhishLLM, содержащий 16 616 электронных писем на трех языках. Данный набор был протестирован на различных детекторах, включая стандартные технологии и новые модели трансформар-вербализации. Результаты показали, что предыдущие методы, которые достигали высокой точности на стандартных наборах данных, оказались неэффективными на E-PhishLLM. Это указывает на то, что существует большой потенциал для развития эффективных детекторов. Также проводился пользовательский испытаний с участием 30 человек, чтобы проверить качество генерируемых данных. На основании результатов испытаний было показано, что E-PhishLLM лучше отражает реальные фишинговые угрозы, чем существующие наборы данных. ## Значимость E-PhishGen может быть применен в различных областях, включая безопасность интернета, мониторинг электронной почты и развитие