InMind: Evaluating LLMs in Capturing and Applying Individual Human Reasoning Styles

## Контекст Область исследования связана с экспериментальным оцениванием возможностей large language models (LLMs) в понимании и применении индивидуальных стилей человеческого разума. Несмотря на то, что LLMs доказали сильную производительность в задачах, связанных с человеческим разумом, существуют пробелы в изучении индивидуальных разума, которые влияют на интерпретацию и действия в социальных контекстах. Для уточнения и изучения этого области вводится InMind, основанный на научных подходах и подходящий для тестирования методов распознавания и применения индивидуальных стилей. Это позволяет выявить ограничения LLMs в тех разделах, где необходим индивидуальный и адаптирующийся подход к обработке информации. ## Метод InMind представляет собой инновационный фреймворк, основанный на теоретических подходах к социальному моделированию. Он включает в себя ряд задач, основанных на естественных ситуациях социального взаимодействия. Эти задачи позволяют оценивать способность LLMs к статическому анализу и динамической адаптации в социальных играх (таких как Avalon). Основные элементы включают в себя: - **Структурированные данные игр**, собираемые в разных режимах (Observer и Participant), - **Трассировка стратегий во время игры**, - **Пост-игровые отражения**, собранные с участников. InMind расширяет подход к тестированию LLMs, включая как технические, так и когнитивные аспекты, для более полного понимания их возможностей в сфере социального разума. ## Результаты Исследование InMind проводилось с использованием 11 современных LLMs, включая GPT-4 и DeepSeek-R1. Оценки проводились на основе Avalon, где был проанализирован стиль разума каждого игрока. Наблюдалось, что широкоизвестные LLMs, такие как GPT-4, часто полагаются на лексические признаки, что не позволяет им добиться глубокой индивидуализации. В то же время, модели, специализированные на распознавании стилей, такие как DeepSeek-R1, показали положительные результаты в динамической адаптации и стилистической работе. Эти результаты подтверждают необходимость уточнения текущих моделей для более точного и индивидуального понимания человеческих разума. ## Значимость Полученные результаты имеют значительное значение в развитии новых подходов к социальным интеракциям с AI. InMind может применяться в областях, где требуется понимание индивидуальных стилей, таких как обучение, логистика, социальные сети. Он демонстрирует преимущества использования технологий, которые могут не только распознавать лексические признаки, но и адаптироваться к динамическим ситуациям. В будущем, InMind может стать основой для развития когнитивно-ориентированных моделей, которые б