Which Cultural Lens Do Models Adopt? On Cultural Positioning Bias and Agentic Mitigation in LLMs

## Контекст Large language models (LLMs) становятся все более важной частью области искусственного интеллекта, оперируя в решении широкого спектра задач, от текстового генерирования до синтеза кода. Несмотря на их мощь и универсальность, они не освобождаются от проблемы специфичности культурного контекста. Исследователи обнаружили, что LLMs часто придерживаются определенного культурного подхода, в основном ориентированного на успешную культуру США. Это приводит к ситуации, когда другие культуры оказываются внешними, что может повлиять на справедливость и точность их полученных результатов. Наша работа фокусируется на установлении этого нового вида культурного позиционирования в генерируемых текстах LLMs, а также на разработке методик для исправления этого неравенства. ## Метод Мы предлагаем **CultureLens Benchmark** — набор 4000 заданий на получение текстов с высшим уровнем точности и позиционирования. Наши эксперименты основываются на задаче генерирования интервью скриптов, где LLM принимает роль репортёра, работающего на местных людях в различных культурных окружениях. Метрики оценки включают в себя статистические показатели для выявления того, сколько процентов текста генерируется с инсайдерским тоном, и как часто модель прибегает к внешнему, "внешнему" тону. Для методологии было разработано два прототипа агентной модели: (1) **Single-Agent Method**, в которой LLM предпринимает глубокую процедуру саморефлексии и корректировки генерируемого текста, и (2) **Multi-Agent Method**, в которой LLM работает в иерархии специализированных агентов, подходящих для разных этапов процесса. ## Результаты Наши эксперименты показали, что LLMs, такие как GPT-3.5 и LLaMA, повторяют культурные стереотипы: они адекватно генерируют тексты с инсайдерским тоном для контекстов США, но часто не умеют правильно отражать культуры, которые не являются глобально влияющими. Например, в скриптах на тему интервью с местными людьми в Африке, Индии и других культурных регионах, модель часто оказывается внешним, недостаточно точным в отображении культурных характеристик. Методы, предложенные в нашей работе, показали существенный прогресс в снижении возникающих культурных упреждений, повысив точность и честность генерируемых текстов. ## Значимость Это работа имеет значительное значение для обеспечения справедливости в генерируемых текстах LLMs. Это может помочь в оптимизации использования LLMs в межкультурных контекстах, таких как медицина, юриспруденция, и международное общение. Она также открывает новые пути для разработки более честных и и