A Data-Centric Perspective on the Influence of Image Data Quality in Machine Learning Models

#### Контекст Исследования в области машинного обучения (МО) становятся все более направленными на развитие моделей, но все чаще набирает силу роль качества данных в обучении. Традиционно, в качестве тренировочных данных используются объемные, но не всегда чистые коллекции, что может снизить эффективность моделей. Особенно актуально это в изображениях, где зачастую имеются различные дефекты, влияющие на качество обучения. Несмотря на важность этого аспекта, научно-исследовательская литература относительно недостаточно раскрывает методы оценки и улучшения качества изображений для моделей МО. Учитывая это, данная работа будет сосредоточена на поиске решений для оценки качества изображений в обучающих данных и определении степени влияния качества на модели МО. #### Метод Для анализа качества изображений в работе используется множество методов, включая автоматическую технику оценки дефектов в изображениях, а также сравнение их между собой. Для проверки эффективности различных методов, в ходе экспериментов были использованы обучающие данные из набора CIFAKE. Этот набор данных является достаточно чистым, что позволяет более точно определить влияние различных уровней изображения на модели. Для обнаружения и удаления дефектов в изображениях, авторы работы предлагают интегрировать две открытой доступа инструменты: CleanVision и Fastdup. Кроме того, в процессе работы были внедрены дополнительные методы, в том числе автоматическая настройка порогов для обнаружения проблемных изображений, чтобы уменьшить необходимость вручную регулировать эти параметры. #### Результаты Исследования показали, что не все дефекты одного уровня имеют одинаковое влияние на модель. Точнее, модели сверточных нейронных сетей (СНС), которые обычно являются наиболее подверженными дефектам, оказались весьма жесткими в отношении мелких дефектов, но очень чуствительны к достаточно существенным дефектов, таким как размытие или сильное уменьшение разрешения изображения. В ходе экспериментов, для оценки качества обучения, использовались показатели F1-меры, которые позволяют измерить точность и полноту распознавания низкокачественных изображений. Таким образом, авторы работы могли оценить влияние различных уровней дефектов на модель. Например, автоматический подбор порогов для обнаружения проблемных изображений оказался эффективным, чтобы значительно улучшить оценку F1-меры. #### Значимость Результаты работы имеют широкую полезность для разных областей, где требуется высокая точность моделей МО. В частности, в сферах, где качество обучающих данных может отличаться, например, в медицине, недвижимости, или мониторинге зон