Automated Model Evaluation for Object Detection via Prediction Consistency and Reliablity

## Контекст Объектное распознавание является ключевым заданием в области компьютерного зрения, и его эффективная оценка является ключевым фактором для продвижения технологий. Традиционно, оценка моделей обнаружения объектов требует значительных ресурсов для подготовки тренировочных данных и проведения экспериментов. Одним из основных вызовов является то, что при обучении и оценке моделей требуется подробное трудоемкое и дорогостоящее ручное аннотирование, что затрудняет широкое применение моделей в реальных условиях. Для решения этой проблемы авторы предлагают метод, который позволяет оценивать модели обнаружения объектов автоматически, сокращая трудозатраты и улучшая удобство использования. ## Метод Авторы предлагают фреймворк AutoEval, основанный на методе Prediction Consistency and Reliability (PCR). Такой подход использует неопределенность, которая встречается при использовании нескольких кандидатов на боксы, предлагаемых моделями перед применением NMS (Non-Maximum Suppression). PCR оценивает модели на основе двух важных аспектов: 1) пространственной консистентности между боксами до и после применения NMS и 2) надежности полученных результатов, определяемой на основе отношения доверия к полученным боксам. Этот подход позволяет оценивать модель обнаружения объектов без необходимости иметь доступ к истинным меткам. Метод также использует мета-датасет, построенный на основе изображений с различными уровнями помех и деструктивных эффектов, для более реалистичной и скептической оценки. ## Результаты Для оценки эффективности метода были проведены эксперименты, в которых использовались различные модели обнаружения объектов и мета-датасет с изображениями, подвергнутыми различным уровням помех. Результаты показали, что PCR дает более точные оценки производительности, чем традиционные методы. Также была проверена возможность PCR для оценки моделей в условиях реальных помех, где данный подход продемонстрировал высокую точность и надежность. ## Значимость Метод PCR и AutoEval-фреймворк имеют широкое применение в области компьютерного зрения, особенно в ситуациях, когда доступ к трудоемкому ручному аннотированию ограничен. Он позволяет эффективно оценивать модели в различных условиях, в том числе при определенных помехах и изменениях в изображениях. Это делает метод более реалистичным и удобным в использовании, чем традиционные оценки, которые требуют ручного вмешательства. ## Выводы Разработанный метод PCR устанавливает новые стандарты для автоматизированной оценки моделей обнаружения объектов. Он демонстрирует более точную и надежную оценку производительности моделей в сравнении с традиционны