The threat of analytic flexibility in using large language models to simulate human data: A call to attention

## Контекст В последние годы широко развиваются исследования, применяющие большие языковые модели для создания "силиконовых выборок" — синтетических данных, которые должны заменить данные, полученные от реальных людей в исследованиях. Этот подход может значительно изменить область исследований, опирающихся на реальных участников. Тем не менее, возникают сложности, связанные с выбором методов и параметров, необходимых для построения таких выборок. Хотя эти решения могут быть обоснованы, их влияние на качество выборок пока не достаточно хорошо понято. Целью данного исследования является изучение этих вопросов и выявления потенциальных рисков, связанных с гибкостью аналитических решений. ## Метод Исследование основывается на экспериментальном подходе, в рамках которого были проведены 252 конфигурации силиконовых выборок. Автор изучил три ключевых аспекта: (i) ранжирование ответов участников, (ii) распределение ответов и (iii) корреляции между скалярными величинами. Для каждой конфигурации были измерены точность и качество результатов. Это позволило выявить относительные сильные и слабые стороны каждой конфигурации. Исследования проводились на данных, полученных в рамках реальных исследований, чтобы эмпирически оценить качество силиконовых выборок. ## Результаты Результаты показали, что некоторые конфигурации показали высокую точность в одном аспекте, но сильно худят в других. Например, некоторые конфигурации хорошо воспроизводили ранжирование ответов, но оказались неточными в моделировании распределения ответов. Более того, ни одна конфигурация не показала лучшую общую точность на всех трёх параметрах одновременно. Это указывает на то, что нет оптимального решения, которое может гарантировать хорошую точность во всех аспектах. Эти результаты подтверждают риск аналитической гибкости при использовании больших языковых моделей для создания выборок. ## Значимость Результаты имеют важное значение для области исследований, основанных на силиконовых выборках. Они указывают на необходимость внимательного подхода к выбору параметров и аналитических решений. Недостаточное внимание к этим вопросам может привести к существенным ошибкам в исследованиях. Это важно для областей, таких как социальные и поведенческие науки, где качество данных является критическим. Более широко, это может способствовать улучшению методов исследований, основанных на синтетических данных. ## Выводы Исследование выделяет значительный риск, связанный с аналитической гибкостью при создании "силиконовых выборок". Основные выводы: (i) нет од