On Integrating Large Language Models and Scenario-Based Programming for Improving Software Reliability

## Контекст Large Language Models (LLMs) стали незаменимыми инструментами для разработчиков программного обеспечения, помогая имитировать участие человека в создании программного кода. Однако, несмотря на их выгоды, LLMs могут вводить серьезные ошибки, выдавая неверный код с высоким уровнем уверенности. Это может мишенить разработчиков и привести к использованию недостатнного решения. В этой работе, мы рассматриваем возможность интеграции LLMs с Scenario-Based Programming (SBP) -- подходом, ориентированным на создание программных решений с помощью сценариев и событий. Наша цель -- создать методологию, которая позволит повысить надежность программ, используя LLMs в сочетании с традиционными приемами программирования. ## Метод Мы предлагаем интегрировать LLMs с SBP, позволяя разработчикам внедрять свой опыт в LLMs. Это позволит проверять и визуализировать выходные данные LLMs, улучшая надежность программ. Наш подход включает в себя сценарий-ориентированный подход, где LLMs используются как специализированные помощники, а разработчики могут управлять их поведением и проверять результаты. Мы также полагаемся на структурированную архитектуру SBP, которая помогает разделить задачи на меньшие, более управляемые этапы. ## Результаты Мы провести совершенно новую систему, которая использует LLMs для создания сценариев и SBP для проверки и управления поведением LLM. Мы протестировали нашу систему в рамках случайного сценария -- игру Connect4. Наше решение позволило создать сильного агента, который мог проигрывать существующим профессиональным агентам. Мы также доказали возможность формального верификации поведения агента, что демонстрирует надежность нашего подхода. ## Значимость Предложенная система может относиться к различным сферам, включая игровое программирование, автоматизацию процедур разработки и поддержки разработчиков. Наш подход демонстрирует следующие преимущества: повышение надежности, упрощение разработки, улучшение возможностей проверки и визуализации. Мы считаем, что наш подход может существенно повлиять на развитие систем, которые сочетают ЛС и традиционные методы программирования. ## Выводы Мы показали, что интеграция LLMs с SBP может стать мощным инструментом для улучшения надежности программного обеспечения. Наши результаты открывают новые пути для будущих исследований в области интеграции ЛС и традиционных подходов в программировании. Мы планируем расширить нашу систему для работы с более сложными задачами и типами программ.