Is General-Purpose AI Reasoning Sensitive to Data-Induced Cognitive Biases? Dynamic Benchmarking on Typical Software Engineering Dilemmas

#### Контекст Область исследования — обнаружение и изучение возможности возникновения когнитивных биаз в общеприменных искусственных интеллектах (GPAI) в контексте программного обеспечения. Мотивация заключается в том, что человеческие когнитивные биаз могут привести к серьёзным ошибкам в программном обеспечении, а GPAI, как нечеловеческий актор, может способствовать их устранению. Однако тренировка GPAI на людских данных приводит к возможности возникновения имитации человеческих структур мышления, в том числе и биаз. Таким образом, возникает вопрос: являются ли GPAI системы сами подвержены когнитивным биазум и, если да, то в какой степени? Данная работа стремится оценить эту проблему в сфере программного обеспечения. #### Метод Для изучения этой проблемы был разработан динамический фреймворк, ориентированный на оценку уязвимости GPAI к когнитивным биазум в контексте реальных дилемм программного обеспечения. Основной эксперимент начинался с семинарного набора 16 ручной работы, каждая из которых содержала один из 8 разных биаз (например, привязка, фрейминг) и соответствующих неизбилих вариантов. Для увеличения масштаба была разработана методика генерации новых задач, основывающаяся на GPAI-системах. Эта методика позволяла сохранять биаз-индуцирующие лексические сигналы, в то же время изменяя лишь поверхностные детали задач. Для проверки того, что новые задачи сохраняют биаз, использовались методы проверки логики (Prolog) и валидации с помощью LLM-системы. Это позволило гарантировать, что биаз являются вредными и невосприимчивыми для безуклонного логического анализа. #### Результаты В результате было протестировано несколько ведущих GPAI-систем (GPT, LLaMA, DeepSeek). На ранних этапах оказалось, что все протестированные системы подвержены когнитивным биазум, возникающим из-за учёта лексических сигналов, не относящихся к логике задачи. Это привело к некорректным выводам, особенно при простых задачах, где часто использовались глубинные выводы. Однако с увеличением сложности задач системы становились все более чувствительными к биазум (до 49%), что указывает на существенный риск в реальных производственных условиях. #### Значимость Полученные результаты имеют применимость в разных областях, где GPAI используется для автоматизации решений или помощи в программной деятельности. Они показывают, что GPAI может представлять собой не только инструмент для устранения биаз, но и источник новых биаз, которые могут иметь влияние на решения. Изучение этой проблемы может привести к более безопасному и эффективно