Position: Intelligent Coding Systems Should Write Programs with Justifications
2508.06017v1
cs.SE, cs.CL, cs.LG
2025-08-12
Авторы:
Xiangzhe Xu, Shiwei Feng, Zian Su, Chengpeng Wang, Xiangyu Zhang
Резюме на русском
## Контекст
Современные интеллектуальные системы кодирования (Intelligent Coding Systems, ICS) представляют собой мощные инструменты, позволяющие пользователям определять поведение программ при помощи естественного языка. Эти системы обеспечивают удобство использования и эффективность разработки, но при этом имеют значительные недостатки. Одной из основных проблем является непрозрачность решений, принятых системой, которая может вызвать недоверие у пользователей, особенно если они не обладают глубокими знаниями программирования. Несомненно, лучшие результаты получаются, когда пользователь может понять, как и почему система пришла к определенному решению.
В настоящее время актуальной является проблема недостатка надежности в системах кодирования, поскольку часто невозможно проверить точность решений, особенно при работе с различными сценариями. Это вызывает затруднения в понимании пользователями того, что происходит внутри систем, что, в свою очередь, может привести к ошибкам в процессе разработки и уменьшить эффективность работы. Одним из решений могут быть ясные, понятные пользователю, причины и логика программ, которые бы служили визуальным инструментом для проверки и понимания решений системы.
## Метод
Для решения этой проблемы в статье предлагается использовать нейро-символьные методы (Neuro-Symbolic Approaches), которые объединяют нейронные и символьные подходы в одной системе. За основу взят подход, где символьные правила и контрольные механизмы используются для улучшения понимания и структуры программ, а нейронные модели используются для повышения точности, адаптивности и скорости выполнения.
Символьные подходы включают традиционные методы проверки и анализа программ, такие как статический анализ и проверка типов, которые позволяют обеспечить целостность программного кода. Нейронные модели, в свою очередь, позволяют строить более точные и природно понятные решения, которые будут оптимизированы для решения конкретных задач.
## Результаты
В рамках исследования был проведен набор экспериментов, в которых были использованы различные наборы данных для проверки работы интеллектуальных систем кодирования. В ходе эксперимента было проанализировано, насколько эффективны нейро-символьные подходы для улучшения понимания пользователями. Было показано, что системы, включающие в себя нейро-символьные методы, показали значительно лучшие результаты в сравнении с методами, основанными только на нейронных моделях.
В результате экспериментов было показано, что нейро-символьные модели могут генерировать более точные и понятные программы, что позволяет улучшить понимание пользователями решений, а также уменьшить потенциальные ошибки в про
Abstract
Intelligent coding systems are transforming software development by enabling
users to specify code behavior in natural language. However, the opaque
decision-making of AI-driven coders raises trust and usability concerns,
particularly for non-expert users who cannot inspect low-level implementations.
We argue that these systems should not only generate code but also produce
clear, consistent justifications that bridge model reasoning and user
understanding. To this end, we identify two critical justification
properties-cognitive alignment and semantic faithfulness-and highlight the
limitations of existing methods, including formal verification, static
analysis, and post-hoc explainability. We advocate exploring neuro-symbolic
approaches for justification generation, where symbolic constraints guide model
behavior during training and program semantics are enriched through neural
representations, enabling automated consistency checks at inference time.
Ссылки и действия
Дополнительные ресурсы: