SCoGen: Scenario-Centric Graph-Based Synthesis of Real-World Code Problems

#### Контекст Область развития кодахных бо LLM (Large Language Models) стала одной из ключевых направлений искусственного интеллекта. За последние годы эти модели демонстрируют великолепные результаты в различных задачах, включая автоматизацию разработки программного обеспечения. Однако существует значительная проблема — отсутствие достаточного количества реалистичных реальных проблем, с которыми сталкиваются программисты в повседневной работе. Это ограничивает возможности моделей и требует разработки систем, позволяющих генерировать реалистичные и задачи, воспроизводящие реальные условия разработки. #### Метод Предлагаемая в статье модель SCoGen (Scenario-Centric Graph-Based Synthesis of Real-World Code Problems) строится на основе интеграции доменного знания, навыков и технических решений, извлеченных из реальных программистских данных. Источники данных, использованные в процессе, включают Stack Overflow и Kaggle. Для генерирования кода воспроизводящего реальные контексты, в модели используется граф-представление (scenario-centric graph), в котором каждый узел (domain knowledge, domain skills, coding skills) хранит специфический контекст. Граф строится на основе сценариев (application scenarios), которые также извлекаются из данных. Эта структура позволяет управлять степенью сложности и разнообразия генерируемых задач. #### Результаты Изученная модель протестирована на сравнительных экспериментах с другими современными LLM, включая модели с различными размерами и функциональностью. Результаты показали, что SCoGen показывает значительно лучший результат в генерации реалистичных проблем в сравнении с состоящими моделями, как в области кодинга, так и в общих задачах. Эксперименты проводились на реальных данных, включая задачи из практических проектов. Результаты подтверждают, что SCoGen способна эффективно воспроизводить действительные условия разработки. #### Значимость Этот подход может быть применен в разработке систем для генерирования кода, помогающих программистам в решении реальных задач. SCoGen может повысить эффективность тренировочных моделей, обеспечивая более реалистичные условия тестирования и развития. Кроме того, модель может быть применена в различных областях, где требуется генерация реальных задач, например, для обучения программистам в компаниях, а также для создания тестов и заданий для соревнований в области программирования. #### Выводы Основные достижения SCoGen заключаются в разработке уникальной граф-базной методологии для генерирования реалистичных кодовых проблем. Будущие исследования будут сконцентрированы на улучшении системы управления сложностью генерируемых задач, а также на расширении модели для включения дополнительных типов данных