Towards Human-AI Complementarity in Matching Tasks
2508.13285v1
cs.LG, cs.HC
2025-08-21
Авторы:
Adrian Arnaiz-Rodriguez, Nina Corvelo Benz, Suhas Thejaswi, Nuria Oliver, Manuel Gomez-Rodriguez
Резюме на русском
## Контекст
Многие высокорисковые области, такие как здравоохранение и социальные услуги, стремятся к эффективной системе сопоставления ресурсов, которая могла бы облегчить решение задач высокого социального значения. Традиционные системы сопоставления, опирающиеся на алгоритмы, целевая задача которых — заменить или полностью автоматизировать процесс принятия решений. Однако подобные подходы часто не учитывают значимые преимущества человеческого мышления, такие как интуиция, эмоциональная зерна и контекст. В результате, решения могут быть менее эффективными, чем если бы был достигнут баланс между человеческой и алгоритмической компетенциями. Наша работа стремится создать систему совместного сопоставления (Collaborative Matching, comatch), которая активно взаимодействует с пользователем, выбирая решения, в которых она достаточно уверена, а передавая остальные решения на человеческое решение.
## Метод
Система comatch основывается на протоколе последовательного сопоставления, где она сначала выбирает решения с наивысшей уверенностью, а затем, в зависимости от эффективности, передает остальные решения на ручное выполнение. Основополагающим принципом является логика решения, когда система старается свести к минимуму необходимость человеческого вмешательства, сохраняя при этом высокую эффективность. Мы используем машинное обучение для определения уровня уверенности в каждом решении. Также вводится метрика, которая динамически оптимизирует баланс между человеческими и алгоритмическими решениями, чтобы получить максимальную эффективность.
## Результаты
Мы провели исследование с участием 800 участников, которое демонстрирует высокую эффективность системы comatch. Мы сравнивали результаты субъектов с совместной моделью сопоставления с теми, которые были достигнуты лишь человеческими участниками или алгоритмами. Результаты показали, что система comatch превышает обоих в формировании решений, уменьшая время и усилия, необходимые для принятия решений, при этом не ухудшая качество решений. Эти эксперименты подтверждают способность системы comatch достигать новых границ в развитии технологий сопоставления.
## Значимость
Система comatch может быть применена в различных высокорегулируемых сферах, таких как здравоохранение, социальные услуги, рекрутинг и даже рыночные системы. Она улучшает эффективность участников, позволяя им сосредоточиться на сложных решениях, в то время как система выполняет простые задачи. Это не только увеличивает эффективность, но и создает более удовлетворительный опыт пользователя. Также, система comatch может быть использована в обучении и воспитании, помогая участникам поня
Abstract
Data-driven algorithmic matching systems promise to help human decision
makers make better matching decisions in a wide variety of high-stakes
application domains, such as healthcare and social service provision. However,
existing systems are not designed to achieve human-AI complementarity:
decisions made by a human using an algorithmic matching system are not
necessarily better than those made by the human or by the algorithm alone. Our
work aims to address this gap. To this end, we propose collaborative matching
(comatch), a data-driven algorithmic matching system that takes a collaborative
approach: rather than making all the matching decisions for a matching task
like existing systems, it selects only the decisions that it is the most
confident in, deferring the rest to the human decision maker. In the process,
comatch optimizes how many decisions it makes and how many it defers to the
human decision maker to provably maximize performance. We conduct a large-scale
human subject study with $800$ participants to validate the proposed approach.
The results demonstrate that the matching outcomes produced by comatch
outperform those generated by either human participants or by algorithmic
matching on their own. The data gathered in our human subject study and an
implementation of our system are available as open source at
https://github.com/Networks-Learning/human-AI-complementarity-matching.
Ссылки и действия
Дополнительные ресурсы: