Safe and Certifiable AI Systems: Concepts, Challenges, and Lessons Learned
2509.08852v1
cs.CY, cs.AI, cs.LG
2025-09-13
Авторы:
Kajetan Schweighofer, Barbara Brune, Lukas Gruber, Simon Schmid, Alexander Aufreiter, Andreas Gruber, Thomas Doms, Sebastian Eder, Florian Mayer, Xaver-Paul Stadlbauer, Christoph Schwald, Werner Zellinger, Bernhard Nessler, Sepp Hochreiter
Резюме на русском
## Контекст
Область исследования фокусируется на развитии безопасных и сертифицируемых систем искусственного интеллекта (AI), особенно в сфере безопасности критически важных приложений. Несмотря на рост адаптации AI в таких областях, практические схемы сертификации еще остаются редкими. Это связано с тем, что требования к безопасности, законности и социальной приемлемости AI-систем сложны и требуют строгой оценки. Данная работа представляет **TÜV AUSTRIA Trusted AI framework**, который представляет собой полный каталог аудита и методологию для оценки и сертификации моделей машинного обучения (ML). Развитие этого каталога началось в 2019 году в сотрудничестве с научными партнерами. Основываясь на трех основных компонентах — **безопасной разработки программного обеспечения**, **функциональных требований** и **этике и защите данных**, каталог преобразует широкие обязательства **EU AI Act** в конкретные, тестовые критерии. Его основным понятием является **функциональная достоверность**, которая связывает определенное приложение с определенными рисковыми минимальными требованиями, а также использует статистическую оценку на независимых данных для проверки качества моделей в реальном мире.
## Метод
Методология каталога основывается на трех основных компонентах. **Безопасная разработка программного обеспечения** включает в себя требования к защите от внедрения вредоносных данных, а также требования к прозрачности и отчетности. **Функциональные требования** ориентированы на жизненный цикл AI-системы, включая стабильность входных данных, устойчивость к дрейфу распределения, и эффективность в реальном мире. **Этика и защита данных** включают в себя аспекты совместимости с GDPR и защиты конфиденциальности. Архитектура каталога включает в себя трехслойную структуру: от определения бизнес-требований до технических решений и статистических моделей для проверки. Эта архитектура позволяет обеспечить широкую тестируемость и предоставлять готовые решения для сертификации AI-систем.
## Результаты
Результаты основываются на ряде экспериментов и анализах, проводимых на различных платформах. Использовались различные данные, включая данные из реальных приложений, таких как данные системы управления трафиком и данные из медицины. Оценки показали, что функциональные требования включают в себя интеллектуальную оценку рисков, где модели предсказываются с помощью функциональных тестов. Например, мы проводили тесты на разных конфигурациях входных данных, чтобы проверить устойчивость моделей. Результаты показали, что модели, прошедшие сертификацию,
Abstract
There is an increasing adoption of artificial intelligence in safety-critical
applications, yet practical schemes for certifying that AI systems are safe,
lawful and socially acceptable remain scarce. This white paper presents the
T\"UV AUSTRIA Trusted AI framework an end-to-end audit catalog and methodology
for assessing and certifying machine learning systems. The audit catalog has
been in continuous development since 2019 in an ongoing collaboration with
scientific partners. Building on three pillars - Secure Software Development,
Functional Requirements, and Ethics & Data Privacy - the catalog translates the
high-level obligations of the EU AI Act into specific, testable criteria. Its
core concept of functional trustworthiness couples a statistically defined
application domain with risk-based minimum performance requirements and
statistical testing on independently sampled data, providing transparent and
reproducible evidence of model quality in real-world settings. We provide an
overview of the functional requirements that we assess, which are oriented on
the lifecycle of an AI system. In addition, we share some lessons learned from
the practical application of the audit catalog, highlighting common pitfalls we
encountered, such as data leakage scenarios, inadequate domain definitions,
neglect of biases, or a lack of distribution drift controls. We further discuss
key aspects of certifying AI systems, such as robustness, algorithmic fairness,
or post-certification requirements, outlining both our current conclusions and
a roadmap for future research. In general, by aligning technical best practices
with emerging European standards, the approach offers regulators, providers,
and users a practical roadmap for legally compliant, functionally trustworthy,
and certifiable AI systems.
Ссылки и действия
Дополнительные ресурсы: