When Prompt Engineering Meets Software Engineering: CNL-P as Natural and Robust "APIs'' for Human-AI Interaction
2508.06942v1
cs.SE, cs.AI
2025-08-14
Авторы:
Zhenchang Xing, Yang Liu, Zhuo Cheng, Qing Huang, Dehai Zhao, Daniel Sun, Chenhua Liu
Резюме на русском
## Контекст
Интеллектуальные технологии, основанные на бо LАМ, применяются в таких областях, как умные системы общения, генерация кода и управление знаниями. Однако надежное использование LLMs зависит от качественных запросов в человеческом языке (NL). Технологии PE (Prompt Engineering) развиваются для оптимизации запросов, но существуют проблемы, такие как неопределенность и несогласованность NL. Также, существует требование к декларативности и структуре запросов, чтобы лучше интерпретировать пользовательский уровень интереса. Мотивация заключается в создании методологии, которая бы синтезировала PE и SE (Software Engineering) для повышения качества интерактивности с LLMs.
## Метод
Методология CNL-P (Controlled NL for Prompt) включает в себя ключевые принципы PE и SE. Она предлагает точные грамматические структуры и строгие семантические нормы, устраняя неопределенность NL. Для повышения доступности вводится инструмент NL2CNL-P на основе LLMs, преобразующий NL-запросы в CNL-P. Для гарантии качества разработан инструмент "линтинга" (CNL-P Linter), который проводит статический анализ CNL-P-запросов с учетом синтаксиса и семантики. Таким образом, CNL-P обеспечивает структурированную и точную формулю клиентскому запросу.
## Результаты
Исследования показали, что CNL-P значительно повышает качество ответов LLMs. Эксперименты проводились на различных типах приложений, включая генерацию кода, автоматизацию сервисных задач и управление знаниями. Использовались различные текстовые данные, включая сценарии реальных запросов и технические документы. Результаты показали увеличение точности и согласованности ответов LLMs, так как CNL-P позволяет лучше выражать пользовательский уровень интереса и уменьшает вероятность неточностей.
## Значимость
CNL-P может применяться в различных областях, включая умные системы общения, генерацию кода и управление знаниями. Он обеспечивает более точную интерпретацию пользовательских запросов, уменьшая неопределенность и повышая качество ответов LLMs. Это позволяет повысить эффективность приложений, основанных на бо LАМ, и улучшить интерактивность с пользователем. Будущие исследования будут направлены на расширение применений CNL-P и его интеграцию с другими технологиями.
## Выводы
Результаты демонстрируют, что CNL-P эффективно синтезирует PE и SE, улучшая качество запросов к LLMs. Он представляет собой новый подход к NL-запросам, способствуя повышению точности и согласованности ответов. Будущие исследования будут сфокусированы на расширении возможностей CNL-P и его применении в различных сферах.
Abstract
With the growing capabilities of large language models (LLMs), they are
increasingly applied in areas like intelligent customer service, code
generation, and knowledge management. Natural language (NL) prompts act as the
``APIs'' for human-LLM interaction. To improve prompt quality, best practices
for prompt engineering (PE) have been developed, including writing guidelines
and templates. Building on this, we propose Controlled NL for Prompt (CNL-P),
which not only incorporates PE best practices but also draws on key principles
from software engineering (SE). CNL-P introduces precise grammar structures and
strict semantic norms, further eliminating NL's ambiguity, allowing for a
declarative but structured and accurate expression of user intent. This helps
LLMs better interpret and execute the prompts, leading to more consistent and
higher-quality outputs. We also introduce an NL2CNL-P conversion tool based on
LLMs, enabling users to write prompts in NL, which are then transformed into
CNL-P format, thus lowering the learning curve of CNL-P. In particular, we
develop a linting tool that checks CNL-P prompts for syntactic and semantic
accuracy, applying static analysis techniques to NL for the first time.
Extensive experiments demonstrate that CNL-P enhances the quality of LLM
responses through the novel and organic synergy of PE and SE. We believe that
CNL-P can bridge the gap between emerging PE and traditional SE, laying the
foundation for a new programming paradigm centered around NL.
Ссылки и действия
Дополнительные ресурсы: