Explained, yet misunderstood: How AI Literacy shapes HR Managers' interpretation of User Interfaces in Recruiting Recommender Systems

2509.06475v1 cs.HC, cs.AI, cs.CY, A.0; H.5.2; I.2; J.1; K.4.2; K.4.3 2025-09-10
Авторы:

Yannick Kalff, Katharina Simbeck

Резюме на русском

## Контекст В последние годы AI-based recommender systems становятся все более важной частью процессов принятия решений в HRM, особенно в сфере рекрутинга. Эти системы помогают оптимизировать поиск кандидатов, но при этом становятся все более сложными и непрозрачными для пользователей. Транспарентность и ответственное применение AI в HRM являются ключевыми аспектами, чтобы избежать потенциальных ошибок и сбиться с пути эффективности. Эта исследовательская работа основывается на необходимости изучить, как знание HR-менеджеров о AI (AI Literacy) влияет на их восприятие и понимание AI-based recommender systems, а также как это влияние может повлиять на качество их решений. ## Метод Для изучения этого вопроса был проведен онлайн-эксперимент с 410 HR-менеджерами из Германии. Участники сравнили базовые дашборды с версиями, дополненными тремя стилями XAI (eXplainable AI): важные признаки (important features), контрфактолы (counterfactuals) и критерии модели (model criteria). Задача эксперимента заключалась в оценке того, насколько эти различные стили XAI влияют на степень понимания и оценку пользователей. Опыт позволил изучить, как различные знания о AI влияют на степень помощи, доверия и точности понимания рекомендательных систем. ## Результаты Исследование показало, что дашборды, используемые в практических решениях, часто не обеспечивают полного понимания AI-решений и даже делают AI-элементы более затруднительными для понимания. Хотя добавление XAI-элементов улучшило субъективные ощущения пользователей в отношении полезности и доверия, оно не увеличило их объективное понимание рекомендательных систем. Более того, сложные XAI-элементы могут даже ухудшить точность понимания, особенно у тех, кто имеет низкий уровень AI Literacy. Однако те, кто имеет высокий уровень знаний о AI, получили помощь от визуальных оверлеев важных признаков, что улучшило их точное понимание рекомендательных систем. ## Значимость Результаты этого исследования имеют большое значение для разных областей. В первую очередь, они подтверждают, что благодаря XAI-элементам улучшается субъективное восприятие пользователями, особенно тех, кто имеет уже некоторое знание AI. Однако, необходимо создавать более направленные стратегии объяснения, чтобы обеспечить лучшую ценность XAI в HRM. Также, эти результаты подчеркивают необходимость создания как минимум поверхностных знаний AI для HR-менеджеров, чтобы улучшить эффективность использования AI-based recommender systems и обеспечить честную, прозрачную и эффективную реализацию AI в HRM. ## Выводы Основной вывод данного исследования заключается в том, что знание о AI-технологиях имеет необходимость

Abstract

AI-based recommender systems increasingly influence recruitment decisions. Thus, transparency and responsible adoption in Human Resource Management (HRM) are critical. This study examines how HR managers' AI literacy influences their subjective perception and objective understanding of explainable AI (XAI) elements in recruiting recommender dashboards. In an online experiment, 410 German-based HR managers compared baseline dashboards to versions enriched with three XAI styles: important features, counterfactuals, and model criteria. Our results show that the dashboards used in practice do not explain AI results and even keep AI elements opaque. However, while adding XAI features improves subjective perceptions of helpfulness and trust among users with moderate or high AI literacy, it does not increase their objective understanding. It may even reduce accurate understanding, especially with complex explanations. Only overlays of important features significantly aided the interpretations of high-literacy users. Our findings highlight that the benefits of XAI in recruitment depend on users' AI literacy, emphasizing the need for tailored explanation strategies and targeted literacy training in HRM to ensure fair, transparent, and effective adoption of AI.

Ссылки и действия