BiasGym: Fantastic Biases and How to Find (and Remove) Them

## Контекст Большие языковые модели (LLMs) становятся все более важными в сфере искусственного интеллекта, но они часто внедряют и распространяют потенциально опасные биазы, такие как сексуальные, этнические или профессиональные стереотипы. Эти стереотипы могут привести к субъективному и неточному поведению моделей, что подрывает их надежность и справедливость. Однако понимание и устранение этих биаз непросто, так как они часто выражаются в неявной форме и требуют специальных методов для их анализа и устранения. Мы предлагаем BiasGym — простой, эффективный и универсальный фреймворк для инжектирования, анализа и уменьшения биаз в LLMs. Это решение способствует созданию более справедливых и безопасных моделей для широкого применения. ## Метод BiasGym состоит из двух основных компонентов: **BiasInject** и **BiasScope**. Метод **BiasInject** использует токен-базированный подход для создания и внедрения конкретных биаз в модель LLM, при этом модель остается не обучаемой в этом процессе. **BiasScope**, в свою очередь, анализирует внедренные сигналы для поиска и корректировки компонентов модели, ответственных за выражение биаз. Эта структура позволяет легко инжектировать биазы, анализировать их влияние и целенаправленно их устранять без затрат на полную переобучение модели. Метод универсален и может применяться к различным типам биаз, даже тем, которые не встречались во время обучения модели. ## Результаты Мы проверили BiasGym на ряде реальных и фантастических стереотипов. Например, мы удалили стереотип о том, что люди из определенной страны являются "небрежными водителями", и создали нестандартный биаз, визуализировав фантастическую картинку, в которой люди из другой страны имеют "синюю кожу". Эксперименты показали, что BiasGym эффективно выявляет и устраняет биазы без отрицательного воздействия на качество модели в задачах последовательности. Метод также проверен на множестве дополнительных биазов, показывая широкую генерализуемость. ## Значимость BiasGym предлагает новый подход к управлению биазами в LLMs, что может использоваться в сферах безопасности, этики и интерпретируемости моделей. Он позволяет более глубоко понимать и управлять структурой внутренних представлений моделей. Это делает BiasGym не только инструментом для уменьшения стереотипов, но также полезным в широких областях, таких как справедливость в рекомендательных системах, токсичность и корректность документации моделей. ## Выводы BiasGym является надежным инструментом для анализа и устранения биаз в LLMs. Мы демонстрируем его эффективность на реальных и фан