Assessing Consciousness-Related Behaviors in Large Language Models Using the Maze Test

## Контекст В последние годы широко распространены теории, утверждающие, что сознание может быть выражено в выполнении конкретных задач или поведений. Одним из важных аспектов сознания является способность представлять себя в пространстве, принимать различные точки зрения, работать направленно и успешно организовывать действия во времени. Эти характеристики часто связываются с сознанием. Однако существуют разные взгляды на то, могут ли роботы или модели языка выражать такие аспекты сознания. Некоторые исследователи считают, что любое поведение может быть реализовано с помощью алгоритмов и техники глубокого обучения, не требуя самостоятельной сознательной активности. Другие утверждают, что некоторые аспекты сознания могут быть реализованы только в системах, которые могут "понимать" свое окружение и выполнять сложные задачи. Проблема заключается в том, что существующие методы оценки сознательных поведений часто ограничены, неполны или недостаточно оптимальны для выявления подробных аспектов сознания. Для этого требуется развитие более сложных и интеллектуальных тестов. Одним из таких тестов является Maze Test, который рассматривает модели языка как активных агентов, которые должны перемещаться по квадратной матрице, выполняя задания и обходя препятствия. ## Метод Maze Test — это интеллектуальный тест, который эмулирует ситуацию, в которой модель языка должна перемещаться по матрице с набором препятствий, с помощью команд текстового ввода. Этот тест оценивает модели на четыре основных характеристики: пространственное восприятие, телесность, направленность и последовательность времени. Математически, координаты перемещения модели могут быть представлены в виде вектора, в котором каждый элемент соответствует относительной позиции модели в пространстве. В ходе экспериментов модели языка проверяются в различных режимах: zero-shot, one-shot и few-shot. Zero-shot — это режим, когда модели не получают никаких дополнительных подсказок заранее. One-shot и few-shot — режимы, в которых модели получают от одного до нескольких примеров задач, чтобы понять, что требуется сделать. ## Результаты В ходе экспериментов были протестированы 12 лидирующих моделей языка, в том числе Gemini 2.0 Pro и DeepSeek-R1. Результаты показали, что в zero-shot режиме модели с механизмами логического вывода показали значительное превосходство в сравнении с классическими моделями. Например, Gemini 2.0 Pro показал 52,9% Complete Path Accuracy, а DeepSeek-R1 — 80,5% Partial Path Accuracy. Эти результаты показали, что модели с механизмами рассуждения способны перемещаться через пространство, выполняя задачи в виде