Dynamic Trust Calibration Using Contextual Bandits

2509.23497v1 cs.AI, cs.HC, cs.LG 2025-10-01
Авторы:

Bruno M. Henrique, Eugene Santos Jr

Резюме на русском

## Контекст Оптимальное принятие решений в совместных сценариях человеко-компьютерных интеракций зависит от доверия, четко сбалансированного между человеком и искусственным интеллектом (AI). Несбалансированное доверие может привести к серьезным последствиям: либо повышенное доверие приводит к непроверенному принятию решений AI, либо низкое доверие — к пренебрежению ценными рекомендациями AI, снижающим производительность. Несмотря на его критическое значение, сегодня нет стандартизированного или однозначного метода для измерения доверия в таких ситуациях. Экспериментальные исследования показывают, что существующие подходы не имеют универсальных метрик и не учитывают различия в процессе образования мнений и последующих решений. Мы предлагаем новую методологию для динамической калибровки доверия, используя адаптивный подход Contextual Bandits, который интегрирует контекст в процесс принятия решений. Этот подход способствует улучшению решений и увеличению уровня доверия к AI в критичных областях, таких как диагностика заболеваний и судебное разбирательство. ## Метод Мы предлагаем развить индикатор, основанный на методе Contextual Bandits, для динамической калибровки доверия. Наш индикатор оценивает доверительные отношения в реальном времени, используя контекстные признаки и обученные модели. Алгоритм Contextual Bandits выбирает оптимальные действия на основе текущего контекста, адаптируясь к изменениям происходящих вокруг. Мы тестировали нашу модель на трех различных наборах данных, связанных с задачами, требующими точного доверия в AI, включая диагностику и судебные процессы. Это позволит модели динамически регулировать доверие, отклонять некорректные рекомендации и усилить потенциал AI в критичных сценариях. ## Результаты Наши эксперименты показали, что использование Contextual Bandits для калибровки доверия приводит к важным улучшениям в производительности решений. Мы измеряли производительность с помощью метрик, таких как награда (reward), и сравнивали результаты с базовыми методами. Результаты показали увеличение на 10-38% в зависимости от данных. Эти показатели подтверждают, что наш подход эффективен для улучшения доверия и решений в агентных системах. Эти достижения показывают, как модель значительно повысила производительность в критических задачах, таких как диагностика и судебные процессы. ## Значимость Наш подход имеет широкие применения в критических областях, таких как медицина, право и финансы, где доверие к AI является критичной функцией. Также он может быть использован в промышленных приложениях, где нужно быстро и точно принимать решения. Наш индикатр динамически кор

Abstract

Trust calibration between humans and Artificial Intelligence (AI) is crucial for optimal decision-making in collaborative settings. Excessive trust can lead users to accept AI-generated outputs without question, overlooking critical flaws, while insufficient trust may result in disregarding valuable insights from AI systems, hindering performance. Despite its importance, there is currently no definitive and objective method for measuring trust calibration between humans and AI. Current approaches lack standardization and consistent metrics that can be broadly applied across various contexts, and they don't distinguish between the formation of opinions and subsequent human decisions. In this work, we propose a novel and objective method for dynamic trust calibration, introducing a standardized trust calibration measure and an indicator. By utilizing Contextual Bandits-an adaptive algorithm that incorporates context into decision-making-our indicator dynamically assesses when to trust AI contributions based on learned contextual information. We evaluate this indicator across three diverse datasets, demonstrating that effective trust calibration results in significant improvements in decision-making performance, as evidenced by 10 to 38% increase in reward metrics. These findings not only enhance theoretical understanding but also provide practical guidance for developing more trustworthy AI systems supporting decisions in critical domains, for example, disease diagnoses and criminal justice.

Ссылки и действия

Связанные статьи

Interactive Program Synthesis for Modeling Collaborative Physical Activities fro...

## Контекст Учить системы выполнять физические задачи является давней целью в области Интерфейсов человека-компьютера (H...

2025-10-01

HealthSLM-Bench: Benchmarking Small Language Models for Mobile and Wearable Heal...

## Контекст Mobile и wearable healthcare monitoring (МХЗ и ОХЗ мониторинг) являются критически важными для обнаружения з...

2025-09-11