Large Pre-Trained Models for Bimanual Manipulation in 3D

#### Контекст В большинстве приложений ботанических и агротехнических систем возникает необходимость в автоматизации процессов сбора и обработки данных. Одним из ключевых вопросов является повышение точности распознавания растений на изображениях, чтобы обеспечить прецизионное управление роботами. Несмотря на развитие технологий, существуют проблемы с детектированием растений в условиях низкого разрешения изображений, либо при наличии шума и ограниченных обучающих данных. Эти проблемы приводят к неточностям в распознавании и, как следствие, к неэффективности в производственных процессах. #### Метод Мы предлагаем использовать модель Mask R-CNN с адаптивной настройкой параметров для детектирования растений. Наша модель обучается на высококачественных данных, полученных с помощью оптического зонда и 3D-сканера. Для улучшения точности применяется фоновая модель, которая анализирует среду и выделяет объекты, которые необходимо распознать. Мы также используем ансамбль методов, включая глубокое обучение и классические методы распознавания, чтобы обеспечить высокую точность даже при низком разрешении изображений. Кроме того, в качестве дополнительного способа мы используем алгоритмы нейронных сетей для определения уровня покрытия почвы и выявления потенциальных ограничений для робота во время операций. #### Результаты Мы проводили эксперименты на двух наборах данных: подготовленных роботом и с реальными условиями сбора. Наша модель показала значительное повышение точности распознавания растений — до 92%, что лучше результатов стандартных методов на 15%. Мы также провели анализ влияния различных параметров на качество распознавания и выявили оптимальные настройки. Эксперименты показали, что наш подход эффективен в условиях низкого разрешения изображений и обеспечивает стабильный результат при различных условиях освещения и шума. #### Значимость Методы, предложенные в данной работе, имеют широкие возможности для применения в агротехнологиях и ботанических исследованиях. Они позволяют увеличить точность работы роботов, уменьшить количество ошибок, а также снизить время обработки изображений. Это может привести к повышению эффективности производства, сокращению затрат и улучшению качества продукции. #### Выводы Мы успешно разработали и проверили модель, позволяющую достичь высокой точности распознавания растений в условиях низкого разрешения изображений. Будущие работы будут уделять внимание улучшению точности распознавания в условиях высокой скорости движения робота и расширению возможностей модели для распознавания других объектов в сельскохозяйственной среде.