Assessing Trustworthiness of AI Training Dataset using Subjective Logic -- A Use Case on Bias
2508.13813v1
cs.LG, cs.AI
2025-08-21
Авторы:
Koffi Ismael Ouattara, Ioannis Krontiris, Theo Dimitrakos, Frank Kargl
Резюме на русском
## Контекст
Объем использования искусственного интеллекта (AI) в различных областях принимает все более значительные размеры, что делает важной проблему качества и надежности данных, используемых для обучения AI-систем. Большинство исследований, посвященных этой теме, фокусируются на оценке отдельных данных, но не учитывают свойства, которые возникают только на уровне целого набора данных. Особенно важной проблемой является **биаз**, который может влиять на необходимость справедливости и этичности результатов AI. Наша мотивация заключается в разработке формального подхода, который позволит оценивать надежность целых наборов данных для обучения AI, учитывая их глобальные свойства. Это проблема критическая, так как недостаточное внимание к надежности может привести к закономерным ошибкам, несправедливости и даже эксплуатации в реальной жизни.
## Метод
Мы предлагаем формальный фреймворк, основанный на **Subjective Logic (SL)**, для оценки надежности данных для обучения AI. Наш подход расширяет тему субъективных логических пропозиций (trust propositions) для оценки уровня доверия к глобальным свойствам набора данных, таким как биаз. Методология включает в себя:
- **Оценку неопределенности** в случаях, когда доказательства или данные зачастую неполны, разбросанные или конфликтующие.
- **Интерпретативную модель** для отображения доверия на основе субъективных логических пропозиций.
- **Моделирование биаса**, позволяющее определить степень неравенства в распределении классов в наборе данных.
Мы применили этот фреймворк к данным о трафических знаках и проанализировали его в обычных и федеративных контекстах, чтобы продемонстрировать его широту и робастность.
## Результаты
Мы проводили эксперименты на данных об трафических знаках, сравнивая нашу модель с существующими методами оценки биаса. Наш подход позволил:
- **Отслеживать неравенства классов** в данных, что демонстрирует его подходимость для определения биаса.
- **Получать интерпретируемые результаты**, даже в условиях неполноты или конфликтующих данных.
- **Обеспечить робастность** в централизованных и федеративных сценариях.
Эксперименты показали, что наш метод выделяет биазы эффективно и независимо от того, насколько данные разбросаны или неполны.
## Значимость
Метод может быть применен в различных областях, в том числе для:
- Оценки надежности данных для обучения в сферах, где справедливость и этичность критичны (например, системы поиска работы, системы здравоохранения).
- Предотвращения неожиданных закономерностей, которые могут возникнуть из-за недостатка баланса в данных.
- Расширение Subjective Logic в область
Abstract
As AI systems increasingly rely on training data, assessing dataset
trustworthiness has become critical, particularly for properties like fairness
or bias that emerge at the dataset level. Prior work has used Subjective Logic
to assess trustworthiness of individual data, but not to evaluate
trustworthiness properties that emerge only at the level of the dataset as a
whole. This paper introduces the first formal framework for assessing the
trustworthiness of AI training datasets, enabling uncertainty-aware evaluations
of global properties such as bias. Built on Subjective Logic, our approach
supports trust propositions and quantifies uncertainty in scenarios where
evidence is incomplete, distributed, and/or conflicting. We instantiate this
framework on the trustworthiness property of bias, and we experimentally
evaluate it based on a traffic sign recognition dataset. The results
demonstrate that our method captures class imbalance and remains interpretable
and robust in both centralized and federated contexts.
Ссылки и действия
Дополнительные ресурсы: