SESGO: Spanish Evaluation of Stereotypical Generative Outputs

## Контекст В последние годы становится очевидным, что большинство оценок биаса в многоязычных моделях генерирующего текста сфокусированы на англоязычных данных, что ограничивает понимание потенциальных вредных эффектов в других языковых и культурных контекстах. Одним из примеров является исследование штейгеровских выводов в моделях на языке испанском, в частности, в контекстах Латинской Америки. Поскольку многоязычные Лучшие Л LLM широко развернуты по всему миру, но оценка их биаса остается центрируется на англоязычной среде, существует опасность, что биасы в других регионах остаются незамеченными. Наша работа открывает новый подход к оценке биаса в испанском языке, особенно в культурно обоснованных контекстах Латинской Америки. ## Метод Для оценки биаса в испанском языке мы предлагаем модульный подход, основанный на подготовленных вопросах, который включает в себя региональные и культурно специфичные выражения и пословицы. Мы используем 4,000+ запросов, охватывающие четыре социальных категории: пол, расовое принадлежность, социоэкономический статус и национальность. Метод BBQ, заключающийся в использовании неявных вопросов, был адаптирован для выявления социальных биаса в испанском языке. Мы также предложили новый метрический подход, который комбинирует точность с направлением ошибки, чтобы лучше представлять модельную производительность и биас в обоих амбигуых и неамбигуых контекстах. ## Результаты Мы провели эксперименты с несколькими моделями, включая State-of-the-Art LLM, и измерили их реакцию на стереотипы. Наши эксперименты показали существенные различия в поведении моделей в зависимости от языка и культурных контекстов. Например, модели показали разные уровни биаса в отношении пола и национальности, что неожиданно включило в себя упоминания о региональных стереотипах. ## Значимость Наша работа имеет значимые потенциальные применения в области создания более культурно чувствительных моделей генерирующего текста. Она также показывает, что техники минимизации биаса, оптимизированные для английского, не эффективны для испанского языка из-за различий в культурных и региональных стереотипах. ## Выводы Наша работа представляет первый систематический подход к оценке биаса в испанском языке в культурно окружающих контекстах. Мы предлагаем новую модель, которая может быть легко расширена для других языков и регионов. Наши результаты показывают наличие социальных биасов в топовых моделях, но такж