Industrial LLM-based Code Optimization under Regulation: A Mixture-of-Agents Approach

## КОНТЕКСТ И ПРОБЛЕМАТИКА В последнее времение Large Language Models (LLMs) стали важной составляющей в области кодовой оптимизации, позволяя автоматизировать процессы программного инжиниринга и повышать эффективность разработки. Однако для организаций в регулируемых отраслях, таких как финансовые и здравоохранение, существуют строгие ограничения на использование коммерческих моделей LLMs. Эти ограничения вызваны требованиями конфиденциальности данных, соответствия нормативным требованиям и регулятивным ограничениями, что создает значительные препятствия для достижения высокого качества кодовой оптимизации при сохранении экономичности. Разработчики столкнулись с проблемой выбора между коммерческими моделями, которые могут быть ограничены в использовании из-за конфиденциальности данных, и открытыми моделями, которые могут быть менее эффективными в некоторых случаях. Эта проблема особенно актуальна в контексте поддержания высокого уровня производительности и качества кода в условиях строгих нормативных требований. Требуется решение, которое позволит эффективно использовать различные модели LLMs, учитывая ограничения регулятивных требований, и обеспечивающее высокую производительность и экономичность. ## ПРЕДЛОЖЕННЫЙ МЕТОД Для решения этой проблемы предлагается метод Mixture-of-Agents (MoA), который использует несколько специализированных моделей LLMs для кодовой оптимизации. Этот метод позволяет синтезировать код, объединяя результаты работы нескольких моделей, что повышает качество оптимизации и уменьшает время выполнения. Метод MoA включает в себя несколько этапов: предварительная обработка кода, применение различных моделей LLMs для оптимизации, синтез результатов и оценка качества полученного кода. В рамках этого метода используется комбинация открытых моделей LLMs, которые оптимизируют код в соответствии с требованиями регулятивной совместимости. Архитектура MoA позволяет динамически выбирать наиболее подходящие модели для конкретных задач оптимизации, что повышает эффективность процесса. Кроме того, метод сравнивается с другими подходами, такими как Генетический Алгоритм (Genetic Algorithm, GA), который также используется для кодовой оптимизации, и индивидуальными моделями LLMs. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Для оценки эффективности метода MoA были проведены эксперименты на реальных индустриальных кодовых базах. Было проанализировано 50 фрагментов кода, и было сгенерировано более 8 700 вариантов оптимизированного кода с использованием различных комбинаций моделей LLMs. Результаты показали, что метод MoA достигает значительных экономий затрат, от 14,3% до 22,2%, и ускоряет процесс оптимизации на 28,6% до 32,2% по сравнению с индивидуальными моделями LLMs. Кроме того, было выявлено, что Генетический Алгоритм (GA) демонстрирует преимущества при использовании коммерческих моделей LLMs, однако оба подхода (MoA и GA) превосходят индивидуальные модели в терминах качества оптимизации и времени выполнения. Эксперименты также показали, что использование MoA с открытыми моделями LLMs позволяет достичь высокого качества оптимизации, соблюдая нормативные требования. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Предложенный метод MoA имеет широкое применение в регулируемых отраслях, где необходимо соблюдать строгие нормативные требования в отношении конфиденциальности данных и соответствия законодательству. Этот метод позволяет организациям эффективно использовать открытые модели LLMs для кодовой оптимизации, обеспечивая высокую эффективность и сокращение затрат. Практическая значимость метода заключается в том, что он предоставляет гибкость в выборе моделей LLMs, позволяя организациям адаптировать процесс оптимизации к своим нуждам и ограничениям. Это также позволяет улучшить качество кода и сократить время разработки, что является критически важным для промышленных приложений. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ В результате исследования было показано, что метод Mixture-of-Agents представляет собой эффективное решение для кодовой оптимизации в регулируемых отраслях. Он позволяет достичь высокого качества оптимизации, соблюдая требования конфиденциальности и регулятивной совместимости. Будущие исследования могут фокусироваться на дальнейшем улучшении архитектуры MoA, включая интеграцию более разнообразных моделей LLMs и оптимизацию алгоритмов для более сложных задач. Кроме того, предлагается расширить исследования в области автоматизации процессов программного инжиниринга с использованием LLMs, в частности, для решения более широкого круга задач, включая тестирование, отладку и анализ кода. Это позволит создать более комплексные инструменты для разработки программного обеспечения, соответствующие требованиям регулятивной совместимости и эффективно использующие потенциал LLMs.