LABELING COPILOT: A Deep Research Agent for Automated Data Curation in Computer Vision

## Контекст Одним из ключевых вызовов в области компьютерного зрения является создание высококачественных, доменных датасетов, необходимых для построения точных моделей. Настоящая проблема заключается в том, что поиск, выборка и аннотация данных требуют значительных вложений времени, денег и ресурсов. Традиционно, эти задачи выполняются вручную, что приводит к низкой скорости, неоднородности и недостоверности результатов. Особенно сложной является задача обнаружения редких классов и управления их аннотациями. Для устранения этих проблем необходим автоматизированный подход, который может эффективно обнаруживать, аннотировать и управлять данными на масштабе. Такой подход требует вовлечения интеллектуальных агентов, способных выполнять сложные задачи с высокой точностью и эффективностью. ## Метод "Labeling Copilot" представляет собой прорыв в области агентных систем для автоматизированной датакурэйшен. Он основывается на трех основных модулях: **Calibrated Discovery**, **Controllable Synthesis** и **Consensus Annotation**. Методология основывается на технологиях глубокого обучения, включая многомодальные языковые модели, для выполнения многошагового реактивного решения. **Calibrated Discovery** использует активное обучение для выбора наиболее подходящих данных из больших репозиториев. **Controllable Synthesis** генерирует данные для редких сценариев с использованием современных методов синтеза. **Consensus Annotation** использует несколько моделей для создания точных лейблов, включая методы номинации и голосования. Архитектура агента основывается на трансформерах и многошаговой архитектуре, обеспечивающей высокую пропускную способность и точность. ## Результаты Эксперименты проводились на двух крупных датасетах: COCO и Open Images. **Consensus Annotation** модуль достиг максимальной метрики mean Average Precision (mAP) 37.1% на COCO, почти удвоив количество правильных аннотаций в сравнении с классическими подходами. На Open Images, агент обнаружил 903 новых категорий боксингов, расширив общее количество до 1500, несмотря на высокую неравенство классов. В ходе экспериментов **Calibrated Discovery** эффективно сфокусировался на выборе данных с меньшим количеством вычислительных ресурсов, достигнув эффективности до 40 раз в сравнении с другими методами. Эти результаты демонстрируют высокую эффективность и масштабируемость "Labeling Copilot". ## Значимость "Labeling Copilot" имеет широкие приложения в области компьютерного зрения, в том числе в образовании, медицине, индустрии и автомобильной отрасли. Он обеспечивает более быструю и точную добавку данных, уменьшает трудозатраты и улучшает качество аннотаций. Этот подход позволяет увеличить доступность данных для обучения моделей, что влечет за собой з