Understanding Prompt Management in GitHub Repositories: A Call for Best Practices

## Контекст Продвинутая разработка систем на основе технологий ИИ, таких как foundation models (например, большие языковые модели), привела к возникновению "promptware" — программного обеспечения, основанного на естественном языке. Одним из ключевых аспектов работы с таким программным обеспечением является эффективное управление приглашениями (prompts). Однако при этом возникают значительные проблемы: проблемы в форматировании, дублирование приглашений и возникновение читаемости. Эти проблемы вызывают трудности в обслуживании и оптимизации приложений. В данном исследовании проводится анализ 24 800 открытых приглашений из 92 репозиториев GitHub, чтобы определить практики управления приглашениями и определить критические характеристики качества. Наши результаты показывают важность решения этих проблем для повышения эффективности разработки и использования программного обеспечения в условиях быстро меняющейся среды promptware. ## Метод Для исследования использовалось автоматическое сборище и анализ данных открытых приглашений с GitHub. Мы разработали специальные алгоритмы для автоматического распознавания и классификации приглашений, а также для идентификации проблем с их форматированием, читаемостью и дублированием. Методология включает в себя автоматическую сборку данных, анализ текста, оценку качества и форматирования приглашений, а также поиск идентичных или похожих приглашений внутри и между репозиториями. Данные ускоренного сборки и анализа позволяют выявить ключевые проблемы, связанные с управлением приглашениями в системах на основе ИИ. ## Результаты В ходе исследования были выявлены критические проблемы с приглашениями, в том числе существенное дублирование, ухудшение читаемости, несогласованность форматирования и проблемы с орфографией. Например, более 40% приглашений имели одинаковую структуру, что приводит к неэффективности и необходимости повторной работы. Также было выявлено, что около 20% приглашений имели проблемы с читаемостью, что может ограничить их эффективность в работе. Эти результаты подтверждают важность разработки лучших практик управления приглашениями в системах promptware, чтобы оптимизировать процессы разработки и сократить частоту ошибок. ## Значимость Найденные результаты имеют важное значение для развития программного обеспечения в области AI, где приглашения (prompts) являются ключевым инструментом для взаимодействия с моделями ИИ. Эффективное управление приглашениями может повысить качество и удобство использования программного обеспечения, уменьшить время разработки и помочь воспроизводимости результатов. Полученные рекоменда