Evaluating SAP Joule for Code Generation

## Контекст SAP Joule — это проприетарный генеративный модель, разработанный компанией SAP для различных задач, включая помощь в программировании. Несмотря на то, что Joule в настоящее время не специализируется на языке ABAP для SAP, он может использоваться для генерации кода на других распространенных языках, таких как JavaScript. Из-за отсутствия его направленности на конкретные задачи SAP, этот модель стала интересом для сравнительного анализа. В последнее время генерируемые модели кода становятся все более востребованы, но необходимо понять, насколько эффективны они для решения конкретных задач. Это побудило авторов выполнить одно из первых сравнительных исследований SAP Joule, в котором она проверена на тестировании JavaScript-кода. ## Метод Для сравнения SAP Joule с другими моделями была использована HumanEval-X JavaScript Benchmark, которая включает тестовые сценарии для оценки генерации кода. Модель была сравнена с 29 другими моделями, выбранными из различных семейств генеративных моделей. Результаты оценивались по критерию строгой точности — вероятности того, что модель правильно решила задачу. Для улучшения достоверности результатов, каждый модели было присвоено несколько попыток, чтобы учесть возможности случайности. Этот подход позволял убедиться, что результаты являются объективными и объективно сравниваются. ## Результаты В результате оценки, SAP Joule показала строгую точность 80.49%, что делает ее пятую лучшую модель в оценке. Это результат является весьма успешным, если учитывать, что многие модели были разработаны специально для генерации кода на JavaScript. Кроме того, это указывает, что SAP Joule может быть эффективно использовано в общих задачах генерации кода, даже несмотря на то, что она не специализируется на конкретных языках программирования. В целом, результаты показали значительный потенциал SAP Joule в контексте общего генеративного моделирования. ## Значимость Это исследование имеет значимость для развития интеллектуальных технологий, особенно в области генеративного кодирования. SAP Joule может быть применена в различных сферах, включая не только JavaScript, но и другие языки программирования. Также, результаты указывают на возможность расширения этой модели для более специфических задач, таких как генерация кода на ABAP. Это может привести к повышению производительности программистов и уменьшению времени на разработку приложений. Будущие исследования могут сосредоточиться на улучшении точности SAP Joule для конкретных языков и на предоставлении ей мощных инструментов для широкого применения. ## Выводы SAP Joule доказала свою эффективность в общей генерации кода, показав высокую точность в сравнении с другими моделями. Это открывает