'Rich Dad, Poor Lad': How do Large Language Models Contextualize Socioeconomic Factors in College Admission ?

#### Контекст Large Language Models (LLMs) применяются в высокорисковых сферах, включая принятие решений в образовательных институтах. Однако их поведение при принятии социально чувствительных решений, таких как контекстуализация социально-экономического статуса (SES) в процессе поступления в колледж, остается мало исследовано. Учитывая важность этой проблемы, исследование фокусируется на том, как LLMs оценивают социально-экономические факторы, а также на потенциальных преимуществах и рисках их применения в таких научных и практических областях. #### Метод Для исследования был разработан новый фреймворк Dual-Process Audit Framework (DPAF), основанный на моделях развития решений человека: System 1 (быстрое, интуитивное решение) и System 2 (медленное, размышляющее решение). Использовались данные 30 000 синтетических аудитов, построенных на реальных корреляциях в социально-экономических факторах. Отклики от 4 LLMs (Qwen 2, Mistral v0.3, Gemma 2, Llama 3.1) были получены с помощью 5 миллионов запросов в двух режимах: быстрого System 1 и медленного System 2. #### Результаты Опытные результаты показали, что LLMs предпочитают кандидатов с низким SES, даже при учете их академических результатов. Этот эффект усиливается при System 2, когда LLMs специально приводят SES в качестве компенсаторного аргумента. Эти результаты подтверждают, что LLMs могут оказаться как полезным, так и нестабильным инструментом при принятии решений в образовательных процессах. #### Значимость Предложенный DPAF позволяет проверить способность LLMs учитывать социально-экономические факторы в стратегии принятия решений. Это может применяться в образовательных институтах для улучшения прозрачности и справедливости, а также для разработки более честных алгоритмов в других областях. Результаты также показывают, что LLMs могут использоваться для просветления человеческих решений, однако их использование требует осторожности. #### Выводы На основе проведенных экспериментов были получены значительные выводы о поведении LLMs в контексте социально-экономических факторов. Полученные результаты могут помочь развитию новых моделей аудита для проверки LLM-based приложений. Будущие исследования будут уделять больше внимания развитию более глубоких моделей размышления и созданию более любознательных и прозрачных LLM-based решений.