Annotating Satellite Images of Forests with Keywords from a Specialized Corpus in the Context of Change Detection

## Контекст Динамика плодородия и размера экосистем на Земле является ключевым аспектом обеспечения устойчивого развития. Одним из самых крупных загрязнений естественных экосистем является дефорестирование, особенно в регионе Амазонского леса. Этот регион является ключевым средоточием нормализации уровня углерода в атмосфере и жизненным пространством для множества видов. Однако за счет активных лесных размеров, вызванных сокращением лесных массивов, происходит не только потеря природных ресурсов, но и влияние на климатические процессы. Необходима эффективная система для мониторинга и изучения этих изменений. В настоящей статье предлагается метод определения дефорестирования, основанный на сравнении спутниковых изображений разных периодов с использованием глубокого обучения. Наша модель также использует визуальную семантическую модель для автоматического аннотацирования изменений, основываясь на ключевых словах, извлеченных из ученых исследований. Эта подходка может стать мощным инструментом для эффективного мониторинга дефорестирования и глубокого понимания его влияния на регионы. ## Метод Метод предлагаемого подхода основывается на глубоком обучении, которое позволяет выявлять изменения в спутниковых изображениях различных дат. Для этого используется архитектура сверточных нейронных сетей, которая сравнивает два изображения одной и той же области, но разных временных периодов. Затем эти изменения аннотируются с помощью визуально-семантической модели. Для извлечения ключевых слов из текстовых документов используется модель на основе трансформеров, которая находит связанные слова в научных документах, описывающих Амазонский регион. Эти ключевые слова используются для пояснения изображений, выявляя типы изменений (например, дефорестирование, пожары и другие). Модель обучается на большом наборе данных, который включает изображения различных видов изменений. Эта многоуровневая архитектура позволяет достичь высокой точности в определении изменений и в том же времени автоматически аннотировать их. ## Результаты Метод был проверен на наборе данных, включающих спутниковые изображения Амазонского региона с различными сменами времени. Использовалось более 10 000 пар изображений с разными степенями дефорестирования и других изменений. Результаты показали, что модель действительно эффективна в определении дефорестирования и аннотации визуальных изменений с помощью ключевых слов. Точность определения дефорестирования достигала 95%, с минимальным количеством ложных срабатываний. Аннотации, полученные с помощью модели, были та