Explained, yet misunderstood: How AI Literacy shapes HR Managers' interpretation of User Interfaces in Recruiting Recommender Systems
2509.06475v1
cs.HC, cs.AI, cs.CY, A.0; H.5.2; I.2; J.1; K.4.2; K.4.3
2025-09-10
Авторы:
Yannick Kalff, Katharina Simbeck
Резюме на русском
## Контекст
В последние годы AI-based recommender systems становятся все более важной частью процессов принятия решений в HRM, особенно в сфере рекрутинга. Эти системы помогают оптимизировать поиск кандидатов, но при этом становятся все более сложными и непрозрачными для пользователей. Транспарентность и ответственное применение AI в HRM являются ключевыми аспектами, чтобы избежать потенциальных ошибок и сбиться с пути эффективности. Эта исследовательская работа основывается на необходимости изучить, как знание HR-менеджеров о AI (AI Literacy) влияет на их восприятие и понимание AI-based recommender systems, а также как это влияние может повлиять на качество их решений.
## Метод
Для изучения этого вопроса был проведен онлайн-эксперимент с 410 HR-менеджерами из Германии. Участники сравнили базовые дашборды с версиями, дополненными тремя стилями XAI (eXplainable AI): важные признаки (important features), контрфактолы (counterfactuals) и критерии модели (model criteria). Задача эксперимента заключалась в оценке того, насколько эти различные стили XAI влияют на степень понимания и оценку пользователей. Опыт позволил изучить, как различные знания о AI влияют на степень помощи, доверия и точности понимания рекомендательных систем.
## Результаты
Исследование показало, что дашборды, используемые в практических решениях, часто не обеспечивают полного понимания AI-решений и даже делают AI-элементы более затруднительными для понимания. Хотя добавление XAI-элементов улучшило субъективные ощущения пользователей в отношении полезности и доверия, оно не увеличило их объективное понимание рекомендательных систем. Более того, сложные XAI-элементы могут даже ухудшить точность понимания, особенно у тех, кто имеет низкий уровень AI Literacy. Однако те, кто имеет высокий уровень знаний о AI, получили помощь от визуальных оверлеев важных признаков, что улучшило их точное понимание рекомендательных систем.
## Значимость
Результаты этого исследования имеют большое значение для разных областей. В первую очередь, они подтверждают, что благодаря XAI-элементам улучшается субъективное восприятие пользователями, особенно тех, кто имеет уже некоторое знание AI. Однако, необходимо создавать более направленные стратегии объяснения, чтобы обеспечить лучшую ценность XAI в HRM. Также, эти результаты подчеркивают необходимость создания как минимум поверхностных знаний AI для HR-менеджеров, чтобы улучшить эффективность использования AI-based recommender systems и обеспечить честную, прозрачную и эффективную реализацию AI в HRM.
## Выводы
Основной вывод данного исследования заключается в том, что знание о AI-технологиях имеет необходимость
Abstract
AI-based recommender systems increasingly influence recruitment decisions.
Thus, transparency and responsible adoption in Human Resource Management (HRM)
are critical. This study examines how HR managers' AI literacy influences their
subjective perception and objective understanding of explainable AI (XAI)
elements in recruiting recommender dashboards. In an online experiment, 410
German-based HR managers compared baseline dashboards to versions enriched with
three XAI styles: important features, counterfactuals, and model criteria. Our
results show that the dashboards used in practice do not explain AI results and
even keep AI elements opaque. However, while adding XAI features improves
subjective perceptions of helpfulness and trust among users with moderate or
high AI literacy, it does not increase their objective understanding. It may
even reduce accurate understanding, especially with complex explanations. Only
overlays of important features significantly aided the interpretations of
high-literacy users. Our findings highlight that the benefits of XAI in
recruitment depend on users' AI literacy, emphasizing the need for tailored
explanation strategies and targeted literacy training in HRM to ensure fair,
transparent, and effective adoption of AI.