The PIMMUR Principles: Ensuring Validity in Collective Behavior of LLM Societies

## Контекст Large Language Models (LLMs) в последнее время востребованы в области социальной симуляции, где группы агентов предназначены для воспроизведения человеческих социальных поведений. Однако текущие исследования часто страдают от методологических недостатков, что снижает достоверность полученных выводов. Это проблема особенно актуальна в сфере "искуственных обществ" (AI societies), где важно получать надежные и повторяемые результаты. Исследователи отмечают, что многие работы не учитывают ключевые моменты, влияющие на валидность экспериментов. Это приводит к недостоверным выводам и снижению доверия к таким исследованиям. Наша работа стремится устранить эти проблемы и установить методические стандарты для эффективного использования LLMs в социальных симуляциях. ## Метод Для решения проблемы мы предлагаем **PIMMUR**, краткое обозначение для шести ключевых принципов, гарантирующих валидность экспериментов: **Profile**, **Interaction**, **Memory**, **Minimal-Control**, **Unawareness** и **Realism**. **Profile** указывает на необходимость разнообразия агентов, а не их однородности. **Interaction** подчеркивает важность наличия реальных взаимодействий между агентами, а не хаотичных или искусственно навязанных. **Memory** относится к необходимости сохранения и использованию истории взаимодействий. **Minimal-Control** означает необходимость ограничить влияние на выводы заранее заданных проверок. **Unawareness** включает в себя необходимость сохранения нео Fully Aware тестируемых агентов. **Realism** подразумевает использование реальных или реалистичных данных для проверки. Мы проверили эти принципы на практике, используя реалистичные эксперименты, что позволило выявить и устранить многие ошибки в текущих методах. ## Результаты Мы проверяли теоретические положения PIMMUR на реальных данных, проверяя 5 известных работ в области LLM-социальных симуляций. Наше расширенное использование PIMMUR показало, что многие социальные явления, которые ранее были отчётливо распознаны, в реальных условиях не проявлялись. Например, в одном из экспериментов, где LLM-агенты проходили искусственные тесты, доказано, что их поведение могло быть предсказано, если им были даны конкретные инструкции. Это нарушает принцип **Unawareness**. Таким образом, наши результаты показали, что некоторые социальные поведения, которые ранее считались достоверными, на самом деле не являются таковыми, обладая вместо этого высвобожденными характеристиками. ## Значимость Результаты наших исследований имеют значительное значение для области LLM-симуляций и социальных искусственных явлений. Методология PIMMUR даёт возможность улучшить достоверность и повторяемость исследований в этой области. Это открыва