LinguaSafe: A Comprehensive Multilingual Safety Benchmark for Large Language Models

## Контекст В последние годы широко распространенность и востребованность бо LARGE LANGUAGE MODELS (LLMs) в технологических сферах требуют внимательного подхода к их безопасности в различных языковых и культурных контекстах. Несмотря на это, существующие методы оценки безопасности LLMs часто ограничены недостатком широкого языкового покрытия и разнообразия данных. Это существенно снижает эффективность текущих методов согласования безопасности LLMs, затрудняя развитие систем, которые могут быть эффективными в разных языковых и культурных средах. ## Метод Для решения этой проблемы мы предлагаем LinguaSafe, комплексный многоязычный бенчмарк, разработанный с учетом языковой аутентичности и культурной контекстности. LinguaSafe включает 45 тысяч записей на 12 языках, включая хунгарский и малайский, созданные с помощью перевода, переделки и родных ресурсов. Методология LinguaSafe включает в себя двухуровневую оценку безопасности (прямую и косвенную), а также оценку чувствительности. Это позволяет выявить проблемы, такие как переобучение и недообучение, в различных языковых контекстах. ## Результаты Используя LinguaSafe, мы провели эксперименты с несколькими LLMs, оценили их показатели безопасности и полезности в разных языковых контекстах. Результаты показали существенные различия в этих показателях, даже для языков с близкими уровнями ресурсов. Например, в группе языков с похожими ресурсами, таких как русский и украинский, значимость и безопасность могут отличаться в зависимости от конкретного языкового моделирования и применения. ## Значимость LinguaSafe позволяет проводить оценку безопасности LLMs в различных языковых и культурных средах. Бенчмарк может применяться в разработке безопасных систем для различных государственных и коммерческих целей. Он предоставляет потенциал для улучшения безопасности LLMs, особенно в тех областях, где языковые и культурные различия требуют особого внимания. ## Выводы LinguaSafe представляет собой первый подробный многоязычный бенчмарк для оценки безопасности LLMs. Наши результаты подчеркивают важность комплексного подхода к оценке безопасности в различных языковых контекстах. В будущем мы планируем расширить LinguaSafe, добавив более языков и тестовых случаев, чтобы повысить ценность и эффективность этого инструмента для безопасной разработки LLMs.