Do Code Semantics Help? A Comprehensive Study on Execution Trace-Based Information for Code Large Language Models

## Контекст Кодные ЛLМы (Code LLMs) представляют собой перспективные инструменты для программирования, обладающими выдающимися способностями в обработке и понимании кода. Однако недавние исследования выделили существенные ограничения этих моделей в логическом рассуждении и понимании функциональности программ. Основными проблемами являются: (1) нехватка уверенности в оценке выполнения программы во время исполнения (runtime behavior), что затрудняет их использование в задачах, требующих точного понимания, (2) несогласованность и декомпозированность семантической информации, такой как выполнение трасс, в существующих подходах, что существенно сказывается на общеуниверсальности и логических возможностях моделей. Эти затруднения подчеркивают необходимость проработки систематичных методов для повышения рассуждающих возможностей Code LLMs. ## Метод Мы предлагаем универсальный фреймворк, который использует семантическую информацию, такую как выполнение трасс, для повышения точности задач, связанных с кодом. Наш подход стремится к тому, чтобы объединить эту информацию с кодовыми задачами, улучшая возможности моделей для супервизированного отображения (supervised fine-tuning, SFT) и постобучения вывода (post-phase inference). Мы проводим подробный анализ влияния этой информации на различные модели Code LLMs, проверяя способность различных подходов к обработке семантической информации и её вклад в улучшение результатов. ## Результаты Мы провели широкий экспериментальный анализ, используя различные модели Code LLMs и наборы данных, связанных с выполнением трасс. Наши результаты показывают, что несмотря на важность семантической информации, её вклад в улучшение SFT и тестовых задач оказался ограниченным. Более того, наши эксперименты демонстрируют, что существующие методы не удается полностью решить проблемы несогласованности и неполноты семантической информации, что ставит под вопрос их использование в практических задачах. ## Значимость Наши результаты имеют большое значение для области искусственного интеллекта и программирования. Они указывают на необходимость развития более систематичных подходов к интеграции семантической информации в модели Code LLMs. Это может привести к улучшению их точности, универсальности и практического применения в реальных задачах. Мы также выделяем потенциал для дальнейших исследований в области улучшения рассуждений моделей Code LLMs, в том числе развития новых подходов к обработке семантических данных. ## Выводы Мы демонстрируем ограниченность вклада семантической информации в улучшение SFT и постобучения вывода Code LLMs. Наши результаты вызовут новую д