From Sea to System: Exploring User-Centered Explainable AI for Maritime Decision Support

2509.15084v1 cs.AI, cs.CY, cs.HC 2025-09-20
Авторы:

Doreen Jirak, Pieter Maes, Armeen Saroukanoff, Dirk van Rooy

Резюме на русском

## Контекст В последние годы автоматизированные технологии становятся все более важной частью маритимных операций. Однако существуют значительные проблемы, связанные с доверием к искусственным интеллектам (AI) в таких критичных сферах. Маритимные среды характеризуются своей сложностью и динамичностью, что делает необходимым не только эффективное выполнение задач, но и понимание решений, принятых системами AI. Без четкого понимания пользователи могут сомневаться в надежности AI, что приводит к ухудшению производительности и возможным ошибкам. Подчеркивается важность Explainable AI (XAI) — компонента AI, которая позволяет объяснить пользователю принципы принятия решений. Особенно актуальной является XAI в маритимных приложениях, где эффективная командная работа человека и машины требует транспарентности, объяснимости и доверия. Данное исследование обозначает нужды в разработке пользователь-ориентированных XAI-систем, которые могут облегчить командное взаимодействие и улучшить решающие процессы в маритимной сфере. ## Метод Разработка пользователь-ориентированной XAI-системы для маритимных приложений включает многоуровневую методологию. Основным этапом является разработка специализированного сервейса, направленного на получение видений пользователей в области доверия и интерпретируемости. Этот сервейс ориентирован на сбор данных о социальных и психологических факторах, влияющих на доверие к AI. Также предлагается создание конкретных архитектур XAI, которые будут применяться в сложных маритимных системах. Использование методов, таких как анализ зависимости и визуализация, позволяет предоставлять пользователю понятные объяснения решений AI. Данные методы были выбраны для их пригодности к использованию в реальных маритимных средах. ## Результаты Для проверки гипотез использовались результаты из сервейса, а также экспериментальные данные, полученные в результате взаимодействия пользователей с разработанными XAI-системами. Основные показатели, измеряемые в экспериментах, включали: доверие к AI, производительность решений и удобство использования. Результаты показывают, что пользователи, получающие понятные объяснения решений AI, оценивают доверие к AI и его производительность выше, чем те, кто не получал таких объяснений. Также было отмечено, что понятные объяснения влияют на удобство работы с системами AI, что в целом повышает эффективность командных маритимных операций. ## Значимость Разработанная пользователь-ориентированная XAI-система может быть применена в различных маритимных сферах, включая мониторинг, управ

Abstract

As autonomous technologies increasingly shape maritime operations, understanding why an AI system makes a decision becomes as crucial as what it decides. In complex and dynamic maritime environments, trust in AI depends not only on performance but also on transparency and interpretability. This paper highlights the importance of Explainable AI (XAI) as a foundation for effective human-machine teaming in the maritime domain, where informed oversight and shared understanding are essential. To support the user-centered integration of XAI, we propose a domain-specific survey designed to capture maritime professionals' perceptions of trust, usability, and explainability. Our aim is to foster awareness and guide the development of user-centric XAI systems tailored to the needs of seafarers and maritime teams.

Ссылки и действия

Связанные статьи

Physical Complexity of a Cognitive Artifact

## Контекст Область исследования связана с классификацией и объяснением трудности выполнения задач, в которой участвуют ...

2025-09-18