TerraMAE: Learning Spatial-Spectral Representations from Hyperspectral Earth Observation Data via Adaptive Masked Autoencoders

## Контекст Hyperspectral satellite imagery представляет собой мощный источник данных для тонкого картирования земных покровов и почв, включая подробные анализы растительности и почвенных свойств. Однако использование современных методов машинного обучения для обработки данных, содержащих 200+ спектральных банд, сталкивается с рядом проблем. Традиционные подходы, ориентированные на RGB и многоканальные данные, неэффективно используют геоспациальные корреляции. Это приводит к потере информации и недостаточной точности в решении задач, таких как классификация почв и земных покровов. Необходимо разработать специальную методологию, которая могла бы эффективно обрабатывать этот тип данных, учитывая его уникальные характеристики. ## Метод TerraMAE представляет собой современную архитектуру, основанную на Masked Autoencoders, с усовершенствованными методами адаптивной группировки каналов. Основная идея заключается в группировке спектральных банд по статистическим свойствам отражаемости, чтобы сохранять корреляции между бандами. Для повышения точности реконструкции используется усовершенствованная функция потерь, которая учитывает как спектральную, так и пространственную точность. Таким образом, TerraMAE не только сохраняет корреляции между спектральными каналами, но также улучшает представимость пространственной информации. Это позволяет получать высококачественные представления для дальнейшего использования в геоспациальных задачах. ## Результаты Использовавшимися данными стали наборы данных hyperspectral imagery, которые охватывают различные географические регионы. В результате использования TerraMAE были получены реконструкции с высокой точностью, улучшенной представимостью спектрально-пространственных свойств. Эксперименты показали, что TerraMAE превосходит существующие подходы в задачах, таких как crop identification (классификация растений), land cover classification (классификация земных покровов) и soil texture prediction (предсказание текстуры почвы). Эти результаты подтверждают эффективность TerraMAE в получении уникальных представлений для разнообразных геоспациальных задач. ## Значимость Результаты TerraMAE могут быть применены в различных областях, включая агрономию, экологию и картографию. Особым преимуществом является улучшенная точность в задачах классификации и предсказания, что может способствовать более эффективному управлению землями и ресурсами. Особенно полезными являются эти достижения в условиях малого количества меток, где современные методы часто сталкиваются с ограничениями. Будущие исследования будут нацелены на расширение применимости TerraMAE к другим типам спутниковых данных и улучшение качест