Investigating Intersectional Bias in Large Language Models using Confidence Disparities in Coreference Resolution

## Контекст Large language models (LLMs) — мощные языковые модели, обладающие высоким уровнем производительности и широко распространенными в сфере решения задач решения, включая сферу принятия решений в таких областях, как трудоустройство и вступительные экзамены. Однако их влияние не ограничивается положительными аспектами. Научно принято, что AI системы могут отражать и усиливать социальные биасы, что вызывает опасения в отношении потенциального вреда от использования таких систем в критически важных социальных сферах. До этого уже было проведено многочисленное исследование, показавшее, что модели LLM могут склоняться к демографическим дискриминациям в различных языковых задачах. Мы расширяем этот подход, проводя оценку биаса в терминах интерсекционального подхода, который учитывает взаимодействие различных факторов дискриминации. ## Метод Мы разработали новый бенчмарк под названием **WinoIdentity**, который является усовершенствованием WinoBias датасета, добавив 25 новых демографических маркеров (таких как возраст, национальность, расовые признаки), которые взаимодействуют с гендером. Это способствовало созданию 245 700 запросов для оценки 50 различных шаблонов биаса. Мы сосредоточились на потенциальных характеристиках, связанных с упущениями в результатах в ситуациях подреpresentation (безделющей дискриминации). В качестве новой метрики мы предложили **Coreference Confidence Disparity**, которая измеряет разницу в уверенности модели LLM в зависимости от интерсекциональных характеристик. Мы провели эксперименты с 5 недавно опубликованными LLMs. ## Результаты Наши эксперименты показали, что потенциально вызволяющие биасы могут достигать до 40% в зависимости от таких атрибутов, как телосложение, половая ориентация и социально-экономический статус. Мы обнаружили, что LLMs чаще были неуверенными в предположениях в anti-stereotypical ситуациях, а также уменьшалась уверенность даже в отношении гегемонических маркеров. Это указывает на то, что некоторые текущие успехи моделей LLM могут быть связаны с запоминанием, а не с логическим рассуждением. Это две независимые ошибки, связанные с значением и достоверностью, могут существенно повлиять на социальные злоупотребления. ## Значимость Наша работа открывает путь к пониманию интерсекциональных биасов в LLMs и их последствиях в критически важных социальных сферах. Мы видим применение наших результатов в сфере трудоустройства, образования и финансовых услуг. Эти результаты могут помочь внедрить более справедливые и точные модели в реальном мире и снизить риски социального вреда. ## Выводы Мы указали на