Hide or Highlight: Understanding the Impact of Factuality Expression on User Trust
2508.07095v1
cs.HC, cs.AI
2025-08-13
Авторы:
Hyo Jin Do, Werner Geyer
Резюме на русском
#### Контекст
В сети AI-систем, в частности large language models (LLM), существует значительная проблема: они часто генерируют выходные данные, которые выглядят правдоподобными, но являются фактически неверными. Это может привести к ошибочным решениям пользователей, которые доверяют AI без контроля. Чтобы уменьшить риск таких ошибок, исследователи исследуют способы предоставления пользователям оценок фактической точности AI-генерируемого контента. Однако мало известно о том, как открытие и транспарентность фактической точности влияют на доверие пользователей. В частности, неясно, является ли открытие неточного контента более убедительным, чем его скрытие, и как это сказывается на ощущении доверия и качества ответа.
#### Метод
Для изучения этого вопроса была проведена исследовательская работа с участием людей (N = 148). Исследователи сравнили воздействие пяти стратегий представления фактической точности AI-контента: 1) **объяснение потенциальной неточности** (highlights), 2) **выделение точных фрагментов** (attention), 3) **скрытие менее точного контента** (opaque), 4) **затухание неточности** (ambiguity) и 5) **базовая ситуация** (без фактических оценок). Для этих стратегий проводились эксперименты в сценариях вопроса-ответа (QA). Оценки доверия и качества ответов собирались через специальные опросы и метрики.
#### Результаты
Эксперименты показали, что стратегия **opaque** (скрытие менее точных фрагментов) и **ambiguity** (затухание неточности) привели к высокому уровню доверия пользователей. Эти стратегии не только защищали качество ответов, но и снижали степень неуверенности, сравниваясь с другими подходами. Например, пользователи чувствовали, что ответы скрытием ненадежного контента более убедительны, нежели при использовании других стратегий, которые могут сделать ответы более неясными.
#### Значимость
Эти находки имеют значительное значение для сферы AI-коммуникации. Обнаружено, что скрытие неточного контента может повысить доверие пользователей к AI, не привлекая к снижению качества ответов. Это не только улучшает потенциальное применение AI в ситуациях, где требуется доверие, но и может способствовать развитию более удобочитаемых и понятных интерфейсов.
#### Выводы
Основываясь на результатах, скрытие менее точного контента может считаться эффективным подходом для повышения доверия без ущерба качеству ответов. Дальнейшие исследования должны изучать эффективность этого подхода в различных сферах применения AI, включая ситуации, где пользователи должны принимать важные решения на основе AI-генерируемых данных. Наиболее эффективные ст
Abstract
Large language models are known to produce outputs that are plausible but
factually incorrect. To prevent people from making erroneous decisions by
blindly trusting AI, researchers have explored various ways of communicating
factuality estimates in AI-generated outputs to end-users. However, little is
known about whether revealing content estimated to be factually incorrect
influences users' trust when compared to hiding it altogether. We tested four
different ways of disclosing an AI-generated output with factuality
assessments: transparent (highlights less factual content), attention
(highlights factual content), opaque (removes less factual content), ambiguity
(makes less factual content vague), and compared them with a baseline response
without factuality information. We conducted a human subjects research (N =
148) using the strategies in question-answering scenarios. We found that the
opaque and ambiguity strategies led to higher trust while maintaining perceived
answer quality, compared to the other strategies. We discuss the efficacy of
hiding presumably less factual content to build end-user trust.
Ссылки и действия
Дополнительные ресурсы: