## Контекст Программное обеспечение становится все более сложным, что приводит к повышению риска ошибок в разработке. Одним из решений этой проблемы является использование спецификаций — формализованных описаний, которые позволяют проверять корректность программных фрагментов. Развитие глубоких машинных узнаваний (LLM) позволило создавать инструменты автоматической генерации спецификаций. Однако, многие из этих инструментов ориентированы на основные языки программирования, такие как C, Java и Solidity. Для новых, верификационно-ориентированных языков, таких как Move, существует мало инструментов. Move — это язык, разработанный для создания безопасных и проверяемых смарт-контрактов. Однако существующие решения для генерации спецификаций для Move оставляют за собой значительные пробелы в качестве и покрытии. Таким образом, цель нашего исследования — разработать инструмент, который может автоматически генерировать высококачественные спецификации для Move, помогая разработчикам создавать более надёжные и верифицируемые смарт-контракты. ## Метод MSG (Agentic Specification Generator) — это система, основанная на глубоких машинных узнаваний, разработанная для автоматической генерации спецификаций для Move-программ. Методология MSG основывается на нескольких ключевых принципах: 1. Использование глубоких машинных узнаваний для понимания и генерации спецификаций. 2. Агентное проектирование, которое позволяет инструменту действовать самостоятельно, принимая решения на основе локальных и глобальных контекстов. 3. Модульность, которая позволяет гибко адаптировать инструмент к различным потребностям и условиям. MSG использует LLM для анализа кода Move и генерирования спецификаций. Он использует модульную архитектуру, которая позволяет ему использовать различные методы для разных стадий процесса: стадию понимания, стадию генерации и стадию верификации. Агентное проектирование позволяет MSG действовать самостоятельно, принимая решения на основе локальных и глобальных контекстов, что повышает качество спецификаций. ## Результаты Мы провели эксперименты с MSG, используя набор тестовых функций из Move. Инструмент удалось генерировать спецификации для 84% тестовых функций, что показывает его эффективность. Более того, MSG удалось идентифицировать ключевые фрагменты спецификаций, которые были пропущены экспертами. Это демонстрирует мощь LLM в понимании и генерации спецификаций для новых языков программирования. Также, выявлено, что использование модульного, агентного подхода повышает качество спецификаций, с 57% большей пропорции верифицируемых кл

## Контекст Многочисленные проблемы безопасности в системах, таких как Интернет вещей (IoT), мобильные платформы и автоматизированные системы, становятся все более критичными. Традиционные мутационные методы тестирования, такие как fuzzing, эффективно исследуют код, но часто ограничиваются мутациями в пределах байтов или битов, не учитывая семантическую логику и синтаксические зависимости. Автоматизированные инструменты, такие как AFL++, используют словари, грамматики и гибридные техники для применения структурных ограничений, но не полностью раскрывают глубинные семантические зависимости и отраслевые требования. С другой стороны, мощные технологии тестирования, основанные на технологиях ИИ и глубокого обучения, такие как модели Больших Языковых Моделей (LLMs), могут использоваться для семантического понимания структуры информации, предлагая более эффективные и точные мутации, что повышает качество тестирования. Однако отсутствие "правильного" метода мутации делает применение супервизированного обучения нецелесообразным, что приводит к заинтересованности в использовании нескольких способов мутации на основе заданий. В нашей работе мы сочетаем возможности LLMs с традиционным методом fuzzing, ориентируясь на ассинхронность и различные специфики тестирования. ## Метод Предлагаемая микросервисная архитектура объединяет методы тестирования fuzzing с моделями Больших Языковых Моделей (LLMs), используя структуру открытого фреймворка AFL++. Мы используем техники few-shot learning для обучения моделей LLM в режиме предварительной подготовки к работе. В качестве моделей используются Deepseek-r1-Distill-Llama-70B, Llama3.3, QwQ-32B и Gemma3. Мы разработали новый алгоритм, который включает модель LLM в цикл мутации, что позволяет ей анализировать интерфейсную логику, выявлять зависимости между полями и создавать высококачественные инструменты fuzzing. Таким образом, мы стремимся решить несколько задач: (R1) обеспечить интеграцию LLMs в модель fuzzing, (R2) исследовать качество мутаций, полученных с помощью few-shot способа, (R3) проверить влияние преобразований на выборку входных данных, а (R4) протестировать конкретные модели LLM для использования в таких средах. ## Результаты Мы проводили эксперименты с помощью 4 моделей LLM, используя протоколы запросов и анализ функционального поведения. Для оценки качества мутаций мы применяли метрики сложности и выявляли значимость мутаций в реальных сценариях. Мы демонстрируем, что Deepseek-r1-Distill-Llama-70B показал высокую эффективность в создании высококачественных мутаций, лучше отражающих слож

## Контекст Fuzz testing является одной из самых эффективных техник для обнаружения уязвимостей в программном обеспечении. Современные fuzzer могут автоматически генерировать входные данные и отслеживать выполнение программ, но всё то же полное рабочее процесс fuzzing — от анализа кода до конфигурации харнесов и триажирования результатов — всё ещё требует значительных усилий от разработчиков. Ранее разработанные решения фокусировались только на отдельных этапах, таких как генерация харнесов или сокращение входных данных, заставляя исследователей самостоятельно связывать эти этапы в единый процесс fuzzing. ## Метод Orion — это рамформа, которая автоматизирует ключевые этапы fuzzing, объединяя технологии значительного языка (LLM) с традиционными инструментами. Orion использует мощь LLMs для кода логики и семантического руководства, в то же время полагаясь на детерминированные инструменты для проверки, итеративной рефинментации и задач, требующих точности. Этот подход позволяет Orion скейлиться в сценариях, где традиционно требовалось значительное человеческое усилие. ## Результаты Исследователи проверили Orion на различных бенчмарках, демонстрируя его эффективность. Фреймворк уменьшил человеческое усилие на 46–204 раз в зависимости от этапа рабочего процесса. Также были обнаружены две новые уязвимости в широко используемой библиотеке clib, которые ранее были неизвестны. Эти результаты доказывают устойчивость и эффективность Orion в автоматизации fuzzing. ## Значимость Orion может применяться в различных областях, где fuzzing играет ключевую роль, таких как безопасность программного обеспечения, тестирование и аудит. Основные преимущества включают автоматизацию рутинных задач, сокращение времени разработки, увеличение точности и гибкость при масштабировании. Это может привести к значительным улучшениям в обнаружении уязвимостей и упрощению процесса тестирования. ## Выводы Orion представляет собой перспективный подход к автоматизации fuzzing, который может реvolutionize обнаружение уязвимостей. Будущие исследования будут фокусироваться на расширении функциональности, улучшении точности и расширении применимости фреймворка в различных технологических сферах.

## Контекст Код языковые модели (Code Language Models, CLMs) набирают популярность в сфере программирования, позволяя выполнять такие задачи, как генерация и сводка кода. Однако недавние исследования показали, что эти модели могут хранить в своем знании конфиденциальную информацию, содержащуюся в обучающих данных. Это становится возможным благодаря их способности воспроизводить такие данные при определенных запросах. Адресуя эту проблему, ранее предлагались способы, такие как удаление дубликатов из обучающих данных и применение методов частичной приватности, но эти методы требуют полной переучивания модели, что является ресурсоемким и дорогостоящим. Наша работа посвящена изучению возможности эффективного и экономичного удаления конфиденциальных данных из CLMs с помощью метода машинного неучения (machine unlearning). ## Метод Мы разработали многоэтапную методологию для изучения меморизации конфиденциальных данных в моделях CLMs. Сначала определили риски меморизации, связанные с конкретными участками данных, и сформировали высокорискованный набор данных, содержащий 50 000 примеров, требующих удаления. Затем рассмотрели два популярных метода машинного неучения, основанных на градиентном подъеме, и ввёл CodeEraser - расширенную модификацию, которая удаляет выбранные куски кода, содержащие конфиденциальную информацию, при этом сохраняя целостность и функциональность остальных частей модели. ## Результаты Для оценки эффективности нашего подхода провели тщательные эксперименты на трех моделях CLM: CodeParrot, CodeGen-Mono и Qwen2.5-Coder. Мы измерили уровень удаления конфиденциальной информации, а также проверяли неизменность функциональности моделей после неучения. Наши результаты показали, что CodeEraser эффективно удаляет целевую конфиденциальную информацию, при этом сохраняя высокую производительность моделей. ## Значимость Метод CodeEraser может использоваться в различных приложениях, где необходимо обеспечить безопасность и конфиденциальность данных, такие как разработка программного обеспечения, диагностика и устранение неисправностей. Он предоставляет преимущества в виде экономии ресурсов в плане вычислений по сравнению с пересборкой моделей. Наши работы могут повлиять на развитие безопасности и приватности моделей глубокого обучения в сфере программирования. ## Выводы Мы представили CodeEraser - первый подход к удалению конфиденциальной информации из CLMs через машинное неучение, без необходимости полной переучивания модели. Наши эксперименты подтвердили высокую эффективность и экономичность этого подхода. Мы планируем продолжать работу в области неучения и применения этих м

#### Контекст Symbolic execution является важной техникой для проверки программ, позволяющей изучать различные пути выполнения программы, используя символьные значения в качестве входных данных. Однако, эта техника сталкивается с ограничениями при столкновении с внешними функциями, такими как собственные методы или библиотеки, которые не входят в базовую программу. Традиционные методы прибегают к дополнительному контексту, дорогостоящим SMT-решателям или ручным вмешательствам, чтобы описать эти функции с помощью символьных макетов. Это создает проблемы в ситуациях, когда требуется автоматизированный подход для обхода этих ограничений. Мы предлагаем новую методику, которая автоматически генерирует символьные макеты для внешних функций во время символьного выполнения, используя генетическое программирование. #### Метод Метод AutoStub включает в себя несколько основных этапов. Когда символьный выполнятель сталкивается с внешней функцией, AutoStub начинает генерировать тренировочные данные, выполняя функцию на случайно сгенерированных входных значениях и записывая результаты. Затем, генетическое программирование использует эти данные для вывода выражений, которые приближаются к поведению функции. Эти выражения являются символьными макетами, которые могут быть использованы в символьном выполнении, не требуя дополнительных усилий от человека. Этот подход позволяет улучшить процесс тестирования, обойдя ограничения, связанные с внешними функциями. #### Результаты Мы провели ряд экспериментов, используя различные программные системы, чтобы оценить эффективность AutoStub. Наши результаты показали, что метод способен аппроксимировать внешние функции с точностью более 90% для 55% оценок, и может выявлять специфичные для языка функции, которые могут вызывать серьезные ошибки во время тестирования. Помимо этого, мы проверили, насколько эти символьные макеты позволяют расширить область программных путей для тестирования и повысить точность выявления ошибок. #### Значимость AutoStub может быть применен в различных сферах, где требуется автоматизированное тестирование программного обеспечения, включая безопасность, проверку соответствия стандартам и отладку. Основное преимущество заключается в том, что он упрощает процесс тестирования, уменьшая необходимость вручную создавать макеты, что может быть очень времязатратным и неточным. Этот подход также может обнаруживать скрытые ошибки и edge cases, которые в противном случае оставались бы незамеченными. Мы предлагаем, что развитие таких автоматизированных методов может привести к значительным улучшениям

## Контекст Python — одна из наиболее популярных и удобных языков программирования, чье простое синтаксисное оформление, широкий спектр применений и богатый экосистема сделали его широко распространенным в современном программном обеспечении. Однако, несмотря на все преимущества, Python-пакеты часто становятся источником безопасностных уязвимостей. Это происходит в связи с тем, что Python часто используется в сочетании с другими языками для повышения производительности или обеспечения интерапредельности. Уязвимости в Python-пакетах могут привести к серьезным проблемам в системах, где эти пакеты используются. Несмотря на то, что существуют различные инструменты для обнаружения и анализа уязвимостей, их эффективность в реальных условиях и полнота остаются неизведанными. Описываемая работа посвящена разработке PyVul — первого полномасштабного бенчмарка для обнаружения уязвимостей в Python-пакетах. PyVul включает в себя 1157 уязвимостей, подтвержденных разработчиками, и работает с разными методами обнаружения, включая метки на уровне коммитов и функций. ## Метод PyVul уже стал первым полномасштабным бенчмарком для обнаружения уязвимостей в Python-пакетах. Он включает в себя 1157 уязвимостей, подтвержденных разработчиками, и предлагает метки, которые могут использоваться для тренировки различных моделей фиксации уязвимостей. Для обеспечения точности и качества данных использовано LLM-обученное алгоритм распознавания, которое позволило достичь 100% точности на уровне коммитов и 94% на уровне функций. Бенчмарк также включает подробные анализы распределения уязвимостей в PyVul, показывая, что они могут затрагивать множество языков программирования и иметь разнообразные виды. Это показывает, что многоязычные Python-пакеты могут быть более уязвимы к уязвимостям. Из PyVul также могут быть извлечены важные выводы о состоянии существующих инструментов и путях их улучшения. ## Результаты PyVul был полностью протестирован на различных данных и сравнивался с текущими инструментами для обнаружения уязвимостей. Экспериментальные результаты показали, что существующие инструменты не всегда удается обнаруживать все виды уязвимостей, в частности те, которые затрагивают многоязычные пакеты. Обнаруженным было, что большинство существующих инструментов не удается обеспечить высокую точность на уровне функций. Однако PyVul, благодаря своему точному меткам, позволяет существенно повысить точность обнаружения уязвимостей в реальных условиях. Также был проведен анализ распределения уязвимостей в различных видах, показав, что в PyV