AI reasoning effort mirrors human decision time on content moderation tasks

## Контекст Современные языковые модели на основе глубокого обучения (LLMs) достигли выдающихся результатов в упрощении широкого спектра задач, включая управление контентом. Однако понимание процесса принятия решений в этих моделях остается неоднозначным. Зачастую, LLMs не только выдают результат, но и приводят в приближенном виде последовательность логических промежуточных шагов. Это изменение способствует повышению точности решения сложных задач. Однако ключевым вопросом остается: насколько хорошо модели ориентируются в пространстве решений, аналогично тому, как это делают люди? Исследование исследует параллели между временем реакции человека и усилиями модели в процессе принятия решений, особенно в рамках задач модерации контента. ## Метод Для изучения этой темы использовался парный эксперимент типа "конджоинт" (conjoint experiment), в котором участники выполнили задачи модерации контента. Эксперимент был проведен с применением трех современных языковых моделей разных возможностей. Основной концепцией является оценка времени принятия решения участников и подсчет усилий моделей, измеренных с помощью логических промежуточных шагов. Это позволило выявить зависимость между сложностью задачи и усилиями, вложенными в ее решение. Данные для эксперимента были подготовлены с использованием реальных примеров модерации контента, что обеспечило реалистичность и практическое значение исследования. ## Результаты Результаты показали, что усилия моделей в процессе принятия решений сильно соотносятся с временем реакции участников. Из рассмотренных моделей, модель с наибольшей сложностью показала наибольшую схожесть в поведении с людьми. Оказалось, что в обоих случаях (человеческих и моделей) наблюдалось большее усилие при необходимости учитывать важные факторы, например, контекст или потенциальные последствия решения. Это наблюдение подтверждает, что модели способны выражать свое решение не только с точки зрения конечного результата, но и с точки зрения процесса принятия решения, схожего с работой человека. ## Значимость Исследование имеет значительные практические последствия для области модерации контента. Например, модели могут быть использованы для создания прозрачных алгоритмов, позволяющих понять принципы принятия решений. Также, полученные данные могут быть применены для улучшения технологий помощи персоналу в процессе модерации. Благодаря этим выводам, можно надеяться на повышение эффективности и четкости решений в области управления контентом в социальных сетях и других интернет-ресурсах. ## Выводы Это исследование показало, что модели языка могут оставаться прозрачными в процессе принятия решений, аналогич