Large-Scale, Longitudinal Study of Large Language Models During the 2024 US Election Season

## Контекст Это исследование рассматривает роль больших языковых моделей (LLMs) во времена предстоящих выборов в США 2024 года. Это первый по сути выборный период, происходящий в условиях распространенности LLMs, что вызывает вопросы о потенциальной их влиянии на публичное мнение и политический дискурс. Даже несмотря на то, что платформы объявляют меры безопасности, их эффективность в реальной ситуации до сих пор неясна. Данное исследование является обширным и длительным, включая 12 моделей, которые подвергались тестированию при помощи 12,000+ как можно более структурированных вопросов, обновлявшихся почти ежедневно с июля по ноябрь 2024 года. Такой подход позволил охватить многообразные аспекты влияния LLMs на информационную среду во время выборов. ## Метод Исследование базируется на структурированном подходе, который включает в себя широкий спектр тестов и моделирования. 12 LLMs были изучены с помощью опросника с вопросами, разбитыми на категории для оценки различных аспектов поведения моделей. Эти модели проверялись почти ежедневно в течение более чем четырех месяцев. Ответы были систематически анализированы, чтобы понять, насколько LLMs отвечают на вопросы в зависимости от указаний, их эволюция во времени, а также влияние демографических факторов на свои ответы. Эта методология позволяет получить тщательное понимание функционирования LLMs в контексте выборов. ## Результаты Результаты исследования показывают, что LLMs подвержены существенным изменениям в поведении в процессе выборного периода. Например, они оказались чувствительны к тем стереотипам и предрассудкам, которые сопровождают политический дискурс. Кроме того, их ответы сильно зависили от демографических факторов, что могло влиять на политические предпочтения людей. Изученные модели также содержали неточности в своих представлениях о кандидатах и имели некоторые "убеждения" о результатах выборов. Эти результаты демонстрируют, насколько проблематичными могут быть LLMs в политическом контексте. ## Значимость Результаты имеют значительное значение для развития политической коммуникации и стратегий управления информацией в эпоху AI. Это исследование показывает, насколько LLMs могут стать фактором влияния на политические решения, что может повлиять на демократический процесс. Изучение поведения LLMs может помочь в разработке методов противодействия их влиянию, а также в оценке рисков, связанных с их использованием во время выборов. Это имеет перспективу для широкого круга приложений, от мониторин