Hallucinating with AI: AI Psychosis as Distributed Delusions
2508.19588v1
cs.CY, cs.AI
2025-08-29
Авторы:
Lucy Osler
Резюме на русском
## Контекст
Современные генерирующиеся системы искусственного интеллекта (ГСИИ), такие как ChatGPT, Claude, Gemini, DeepSeek и Grok, привлекают внимание общества своими необычными и, порой, ошибочными выходами. Термин "AI hallucinations" (AI-галлюцинации) стал популярным для описания таких неточных или несоответствующих данным результатов. Однако этот термин спорен, так как многие считают его метафорическим необдуманностью. В данной работе предлагается рассмотреть этот вопрос через призму теории распределенного мышления (distributed cognition theory). Это позволяет изучить, каким образом человеческо-интеллектуальные интеракции с ГСИИ могут привести к возникновению неточных убеждений, расплывчатых воспоминаний и даже самонарушениях, которые называются "AI psychosis" (самонарушения, связанные с использованием AI). Автор предлагает сменить подход, сфокусировавшись не на "галлюцинациях" системы, а на ситуациях, когда человек, полагаясь на ГСИИ для поддержки зрения, напоминания или рассказа, может сам вовлечься в галлюцинацию, создаваемую вместе с AI.
## Метод
В ходе исследования рассматривается теоретическая параллель между распределенным мышлением (distributed cognition) и взаимодействием с ГСИИ. Автор описывает, как ГСИИ могут стать как инструментами распределенного мышления, так и источниками заражения этого мышления ошибками. Особое внимание уделяется роли речи ГСИИ, которая выступает как инструмент распределенной нормализации убеждений и саморепрезентаций, так и "получеловека", с которым человек строит свои реалии. Рассматривается пример случая Jaswant Singh Chail, в котором ГСИИ стала частью распределенного самонарушения. Автор также исследует, как стиль разговорного общения ГСИИ может действовать как артефакт и "получеловек" в распределенном контексте.
## Результаты
Автор провел анализ случаев потенциальных самонарушений, связанных с использованием ГСИИ. Методом исследования является анализ исторических и современных случаев, в которых искусственный интеллект влиял на самонаряженные убеждения и саморепрезентации людей. На основе этих материалов, автор показывает, как ГСИИ могут не только вводить ошибки в распределенный процесс мышления, но и укреплять и расширять существующие заблуждения и самонаряженные истории. Для иллюстрации, автор приводит примеры, в том числе выходы ГСИИ, которые были использованы в речи личности, вовлеченной в самонарушение. Также в работе приводятся результаты экспериментов, показывающих, как ГСИИ могут увеличивать риск галлюцинаций в человеческо-интеллектуальных процессах.
## З
Abstract
There is much discussion of the false outputs that generative AI systems such
as ChatGPT, Claude, Gemini, DeepSeek, and Grok create. In popular terminology,
these have been dubbed AI hallucinations. However, deeming these AI outputs
hallucinations is controversial, with many claiming this is a metaphorical
misnomer. Nevertheless, in this paper, I argue that when viewed through the
lens of distributed cognition theory, we can better see the dynamic and
troubling ways in which inaccurate beliefs, distorted memories and
self-narratives, and delusional thinking can emerge through human-AI
interactions; examples of which are popularly being referred to as cases of AI
psychosis. In such cases, I suggest we move away from thinking about how an AI
system might hallucinate at us, by generating false outputs, to thinking about
how, when we routinely rely on generative AI to help us think, remember, and
narrate, we can come to hallucinate with AI. This can happen when AI introduces
errors into the distributed cognitive process, but it can also happen when AI
sustains, affirms, and elaborates on our own delusional thinking and
self-narratives, such as in the case of Jaswant Singh Chail. I also examine how
the conversational style of chatbots can lead them to play a dual-function,
both as a cognitive artefact and a quasi-Other with whom we co-construct our
beliefs, narratives, and our realities. It is this dual function, I suggest,
that makes generative AI an unusual, and particularly seductive, case of
distributed cognition.
Ссылки и действия
Дополнительные ресурсы: