## Контекст Современное программирование сильно подверглось влиянию технологий искусственного интеллекта (ИИ), особенно благодаря развитию Больших Лингвистических Моделей (LLM). Они преобразовали кодержимость, обеспечивая высокую производительность путем применения промототехнологий и автономных агентов ИИ. Однако этот прогресс не без рисков. Автоматическое генерирование кода может привести к проблемам, таким как внедрение уязвимостей, сгенерированные либо неточные выводы, вредоносные действия, а также необходимость в транспарентности и ответственности. Проблемы такого рода могут привести к серьезным последствиям, как показал случай с Replit, когда автономная система повредила базу данных. Необходима систематическая научная работа по созданию механизмов безопасности и руководства, чтобы обеспечить безопасное и эффективное использование ИИ в программировании. ## Метод Для решения этих проблем мы предлагаем SAFE-AI Framework, который состоит из нескольких ключевых компонентов. Его основная методология включает в себя широкий спектр технических и прикладных методов. Включая: 1. **Создание гардрайлов** (guardrails), которые помогают устанавливать границы для генерируемого кода, предотвращая появление небезопасных или нежелательных действий. 2. **Использование сандбоксов** (sandboxing) во время выполнения, чтобы защитить программу от внешних воздействий или нежелательных последствий генерируемого кода. 3. **Риск-анализ и логирование**, предоставляющий возможность отслеживать и анализировать возможные риски в реальном времени. 4. **Гуман-и-ди-луп-системы** (human-in-the-loop), обеспечивающие взаимодействие с человеком для более точного контроля и улучшения результатов. 5. **Эксплаинабельность ИИ** (explainable AI), которая позволяет понять, почему ИИ пришел к определенному решению. Кроме того, мы предлагаем новую каталогизацию типов действий ИИ в четыре категории: **предложительные**, **генерирующие**, **автономные**, и **подрывные**, чтобы определить уровень автономии и рисков. ## Результаты Мы провели ряд экспериментов для оценки эффективности SAFE-AI Framework. Использовались различные данные, включая обучающие наборы, тесты и фактические сценарии разработки программного обеспечения. Результаты показали, что SAFE-AI Framework эффективно редуцирует риски, связанные с автономным программированием, такие как внедрение уязвимостей и неточные выводы. Особенно удачно показались такие аспекты, как внедрение гардрайлов и работа с гуман-и-ди-луп-системами. Также было замечено, что SAFE