A Defect Classification Framework for AI-Based Software Systems (AI-ODC)

## Контекст Современные технологии искусственного интеллекта (ИИ) применяются во многих областях, от повседневных задач, таких как ответы на электронные письма и планирование, до промышленности и автоматизации производственных процессов. Однако использование ИИ связано с риском возникновения ошибок и дефектов в программном обеспечении, что может привести к серьезным последствиям. Дефектный анализ является ключевым элементом обеспечения качества программного обеспечения, но существующие модели дефектного анализа не учитывают уникальные характеристики AI-систем. Это приводит к ограниченной эффективности дефектного анализа в AI-системах. Целью данного исследования является разработка фреймворка для дефектного анализа AI-систем, который учитывает их особенности. ## Метод Фреймворк AI-ODC основывается на парадигме Orthogonal Defect Classification (ODC), но адаптирован для AI-систем. Он включает новые классификационные размерности: "Data", "Learning" и "Thinking", которые отражают особенности ИИ. Для каждой размерности были введены дополнительные атрибуты и уровни серьезности. Также были пересмотрены "impact areas", заменены на понятия, характерные для AI-систем. Фреймворк был реализован и проверен на открытом датасете с дефектами в машинном обучении. Эксперименты включали один- и двухмерные анализы результатов. ## Результаты Исследование показало, что большая часть дефектов возникает во время "Learning" фазы и часто имеют высокий уровень серьезности. Дефекты во время "Thinking" фазы, хотя и менее часты, имеют большое влияние на надежность и точность. Эти результаты помогают выявить самые рискованные категории дефектов и ориентировать качественные меры на их устранение. ## Значимость Фреймворк AI-ODC может быть использован в различных областях, где применяются AI-системы, включая промышленность, здравоохранение и финансы. Он обеспечивает более точный дефектный анализ, учитывая уникальные черты AI-систем. Использование этого фреймворка может снизить риск ошибок, увеличить надежность и улучшить качество AI-систем, что вносит полезный вклад в развитие ИИ. ## Выводы AI-ODC доказал свою эффективность в классификации дефектов AI-систем, учитывая их особенности. Будущие исследования будут сфокусированы на расширении фреймворка для других типов AI-систем и интеграции с методами управления качеством программного обеспечения.