Prompt-with-Me: in-IDE Structured Prompt Management for LLM-Driven Software Engineering

## Контекст Современные Large Language Models (LLM) внедряются во все большее количество областей программирования, включая процессы системного анализа, документирования, тестирования и разработку кода. Однако вопросы управления и эффективного использования промптов (предложенных LLMs наборов данных и задач) в реальных инженерных работах остаются недостаточно развиты. Это приводит к проблемам, таким как нестандартность, неповторяемость, низкая качественная модель работы и проблемы с безопасностью (например, поддержка конфиденциальности). Таким образом, требуется новая архитектура управления промптовыми запросами, которая бы гарантировала их стандартизацию, улучшение качества результатов и интеграцию в существующие рабочие процессы. ## Метод Мы предлагаем Prompt-with-Me — систему для управления промптовыми запросами, которая основывается на встроенной в среду разработки среде. Для классификации промптов мы разработали четырёхуровневую типологию, охватывающую следующие аспекты: 1. **Тип запроса** — например, код, документацию или отладку. 2. **Роль автора** — разработчик, внедряющий систему или тестировщик. 3. **Этап жизненного цикла разработки** — например, планирование, разработка или тестирование. 4. **Стиль запроса** — например, запросы, посвященные генерации кода или верификации. Промпто-с Мей предлагает развитые функции: - **Автоматическое классифицирование промптов** в соответствии с типологией. - **Улучшение языка** промптов, устранение неточностей и маскирование конфиденциальных данных. - **Генерация шаблонов** для повторного использования промптов в различных контекстах разработки. ## Результаты Мы провели исследование на основе 1108 реальных промптов из различных проектов разработки. Наши результаты показали, что Prompt-with-Me достигает высокой точности классификации (в среднем 85%), при этом система успешно классифицирует промптовые запросы в соответствии с разработанной типологией. В пользовательском исследовании с 11 участниками, которые работали с Prompt-with-Me, мы зарегистрировали высокую степень принятия системы (средний SUS-значение — 73, NASA-TLX-значение — 21), что указывает на удобство и эффективность системы в повышении качества промптов и экономии времени разработчиков. ## Значимость Предложенный подход позволяет улучшить классификацию и управление промптовыми запросами в процессе разработки. Он может быть применен в следующих сферах: - **Улучшение качества кода** — с помощью автоматического улучшения промптов и устранения неточностей. - **Уменьшение рисков безопасности** — с помощью маскирования