CORTEX: Composite Overlay for Risk Tiering and Exposure in Operational AI Systems

## Контекст В последние годы роль искусственного интеллекта (AI) в высокорисковых секторах, таких как здравоохранение, финансы, образование, правосудие и инфраструктура, существенно выросла. Это привело к повышению потенциала и воздействия неполадок этих систем. От искажений данных до серьезных ошибок, включая смертные последствия, неполадки AI стали практическими, регулярными и системными рисками. Из этого вытекает необходимость в систематической оценке и управлении рисками AI. Несмотря на развитие методов мониторинга и оценки, полномочия ответственных за риски часто ограничиваются внутренними моделями или отчетами, не удовлетворяющими потребностям в масштабируемом и четко определенном подходе к оценке рисков. Чтобы удовлетворить эту потребность, предлагается CORTEX (Composite Overlay for Risk Tiering and Exposure), открытое решение для сбора и оценки рисков в AI-системах. ## Метод CORTEX представляет собой многоуровневую систему оценки рисков, основанную на анализе более 1200 инцидентов AI, задокументированных в AI Incident Database (AIID). Основная методология включает в себя: 1. **Категоризацию рисков**: 29 технических групп возможных неполадок, таких как детектируемость, воспроизводимость и адверсальный риск. 2. **Воздействие и шанс возникновения**: каждая группа оценивается с помощью формулы utility-adjusted Likelihood x Impact, чтобы соотнести риски с контекстом и пользовательским воздействием. 3. **Государственные и контекстуальные модификаторы**: оценка соответствия регулирующим требованиям, таким как EU AI Act, NIST RMF и OECD-принципы. 4. **Технические метрики**: оценка поверхностных рисков, таких как детектируемость, трассировка и адверсальный риск. 5. **Контекстуальные модификаторы**: учет дополнительных рисков, связанных с окружающей средой и резидентными факторами. 6. **Агрегация рисков**: шаг заключительный — моделирование волатильности и долгохвостаных рисков с помощью Байесовской оценки и монотехновых симуляций. ## Результаты На основе тестовых экспериментов, проведенных с использованием CORTEX, были оценены риски в различных сценариях, включая системы медицинского мониторинга, финансовых прогнозов и систем управления трафиком. Результаты показали, что CORTEX эффективно локализует рисковые группы, сочетая технические и контекстуальные факторы. Очень важно, что гибкая архитектура CORTEX дает возможность адаптации к разным секторам и регуляторным требованиям, что увеличивает его ценность в реальных условиях. ## Значимость CORTEX может применяться во многих областях, включая мониторинг риско