PolicyPad: Collaborative Prototyping of LLM Policies

## Контекст Политическое управление языковыми моделями (LLM), особенно в высокорисковых областях, становится ключевым вопросом для обеспечения безопасности и эффективности. Во время взаимодействия с этими моделями, знатоки высказывают необходимость быстрого экспериментирования, взаимодействия и итерации в процессе формирования политик. Однако существующие методы порой ограничиваются статичными инструментами и недостаточно подходят для коллективного политического прототипирования. Это подчеркивает необходимость развития инструментов, которые бы поддерживали коллективную работу, эффективность и интерактивность в процессе формирования политик. ## Метод PolicyPad — это интерактивная система, разработанная для поддержки коллективного прототипирования политик для языковых моделей. Основанна на принципах UX-прототипирования, таких как херастический анализ и создание сценариев, она позволяет группам сотрудников совместно работать над прототипами политики в режиме реального времени. Инструмент позволяет пользователям проводить эксперименты с поведением моделей, используя кейсы использования, и мгновенно оценивать их эффективность. Архитектура PolicyPad включает интерактивное окружение, где пользователи могут создавать, редактировать и тестировать политики в симуляционных условиях, что обеспечивает эффективное взаимодействие и быстрое возвращение результатов. ## Результаты Чтобы оценить эффективность PolicyPad, проведены 8 совместных сессий с 22 участниками из областей психологии и права. Участники смогли эффективно создавать и дорабатывать политики, вовлекать в процесс нескольких экспертов и быстро проверять их взаимодействие с моделями. Эксперименты показали, что использование PolicyPad улучшило коллективные динамики в процессе формирования политик, обеспечил быстрые обратные ходы и позволил разработать новые подходы к политическому управлению языковыми моделями. ## Значимость PolicyPad открывает новые возможности для улучшения участия экспертов в процессе формирования политик. Его можно применять в сферах, где требуется высокая точность и безопасность, таких как здравоохранение, право и финансы. Инструмент поддерживает коллективное взаимодействие, обеспечивая туннельные обратные связи и позволяя экспертам быстро адаптироваться к изменениям. Это может способствовать развитию новых подходов к управлению рисками и безопасности в работе с языковыми моделями. ## Выводы PolicyPad — это первый инструмент, который эффективно поддерживает коллективное политическое прототипирование языковых моделей. Он обеспечивает удобные условия для экспериментов, быстрого в