From Field to Drone: Domain Drift Tolerant Automated Multi-Species and Damage Plant Semantic Segmentation for Herbicide Trials
2508.07514v1
cs.CV, cs.AI
2025-08-13
Авторы:
Artzai Picon, Itziar Eguskiza, Daniel Mugica, Javier Romero, Carlos Javier Jimenez, Eric White, Gabriel Do-Lago-Junqueira, Christian Klukas, Ramon Navarra-Mestre
Резюме на русском
**Резюме**
Развитие агротехнологий позволяет автоматизировать сложные процессы мониторинга поля и оценки эффективности химикатов. Однако традиционные методы ручного визуального анализа остаются временными и субъективными. Мы предлагаем усовершенствованную модель сегментации, которая объединяет общеприменный самостоятельно обучающийся визуальный модуль с иерархическим выводом на основе ботанической системы классификации. Модель была обучена на большом многолетнем датасете (2018–2020 гг., Германия и Испания) и тестировалась на данных цифровых и мобильных камер (2023 г.), а также дроновых изображений (2024 г.) с различных географических областей.
Модель достигла существенных улучшений в идентификации видов растений (F1-метрика: от 0.52 до 0.85) и оценки вреда (F1-метрика: от 0.28 до 0.44) по сравнению с предыдущими подходами. Несмотря на достаточную стабильность при переходе между устройствами, подвиды дронных изображений вызвали деградацию результатов (F1-метрика: 0.60, R²: 0.80; вреда: 0.41, R²: 0.62). Несмотря на это, модель показала приемлемую стойкость в реальных условиях и была успешно развернута в цифровой инфраструктуре BASF, где она поддерживает процессы мониторинга растений и оценки эффективности химикатов.
Abstract
Field trials are vital in herbicide research and development to assess
effects on crops and weeds under varied conditions. Traditionally, evaluations
rely on manual visual assessments, which are time-consuming, labor-intensive,
and subjective. Automating species and damage identification is challenging due
to subtle visual differences, but it can greatly enhance efficiency and
consistency.
We present an improved segmentation model combining a general-purpose
self-supervised visual model with hierarchical inference based on botanical
taxonomy. Trained on a multi-year dataset (2018-2020) from Germany and Spain
using digital and mobile cameras, the model was tested on digital camera data
(year 2023) and drone imagery from the United States, Germany, and Spain (year
2024) to evaluate robustness under domain shift. This cross-device evaluation
marks a key step in assessing generalization across platforms of the model.
Our model significantly improved species identification (F1-score: 0.52 to
0.85, R-squared: 0.75 to 0.98) and damage classification (F1-score: 0.28 to
0.44, R-squared: 0.71 to 0.87) over prior methods. Under domain shift (drone
images), it maintained strong performance with moderate degradation (species:
F1-score 0.60, R-squared 0.80; damage: F1-score 0.41, R-squared 0.62), where
earlier models failed.
These results confirm the model's robustness and real-world applicability. It
is now deployed in BASF's phenotyping pipeline, enabling large-scale, automated
crop and weed monitoring across diverse geographies.
Ссылки и действия
Дополнительные ресурсы: