Steering MoE LLMs via Expert (De)Activation

## Контекст Mixture-of-Experts (MoE) — это архитектурная компонента в Больших Лингвистических Моделях (LLMs), которая позволяет эффективно обрабатывать входные данные, путем перенаправления каждого токена через определенную подсистему специализированных Feed-Forward Networks (FFN), называемых экспертами (experts). Хотя MoE позволяет решать задачи, такие как эффективность вычислений и настройка моделей, он также создает проблемы с фиксацией конкретных поведенческих характеристик модели, таких как безопасность и точность. Наличие таких проблем мотивирует разработку новых методов управления поведением моделей, которые могут быть применены без переукладки модели или изменения весов. ## Метод Мы предлагаем SteerMoE — рамочную модель для управления поведением MoE-LLMs, основанную на детектировании и контроле экспертов, связанных с конкретными поведенческими характеристиками. Метод детектирования определяет эксперты, отличающиеся по активации при различных входных парах, отображающих контрастирующие поведения. Эти эксперты могут быть выключены или включены во время инференса, что позволяет контролировать поведение модели, такие как надежность и безопасность, без переуничтожения модели. Инновационной чертой SteerMoE является его гибкость в управлении поведением, которая обеспечивается без изменения весов модели. ## Результаты Мы провестим эксперименты на 11 бенчмарках и 6 LLMs, включая модели серий Mixture-of-Experts (Mixture-of-Experts) и GPT-3. Мы показали, что SteerMoE может улучшить безопасность модели на до 20% и увеличить надежность на 27%, выполняя это непосредственно во время инференса. Более того, мы протестировали SteerMoE в режиме атаки адверсариального характера, показывая, что модель может уменьшить безопасность системы до -41%, и даже до -100%, когда сочетается с другими методами обхода защитных механизмов. Эти результаты открывают новую грань в анализе поведенческих аспектов больших моделей языкового моделирования. ## Значимость Мы видим широкие области применения SteerMoE в сферах, где требуется контроль безопасности и точности моделей, таких как модели для здравоохранения, финансовые системы и поисковые системы. Эта модель демонстрирует возможность подготовки модели к конкретным сценариям без необходимости переучивать модель целиком. Наш подход демонстрирует новую степень гибкости в управлении поведением, который может помочь обнаружить и устранить проблемы в системах с людьми в центре, таких как взаимодействие с пользователем или решение этических задач. ## Выводы Мы представили SteerMoE — мощный подход к управлению поведением моделе