Curriculum Multi-Task Self-Supervision Improves Lightweight Architectures for Onboard Satellite Hyperspectral Image Segmentation

#### Контекст Обработка спутниковых изображений в спектральном диапазоне требует высокой эффективности, поскольку спутники обычно ограничены в скорости передачи данных и мощности вычислений. Для этих задач требуются модели, которые могут обрабатывать большие объемы данных с минимальными затратами ресурсов. Однако существующие модели не всегда приспособлены для этих условий, так как требуют особых усилий для оптимизации. Большинство существующих подходов к обучению самостоятельно (self-supervised learning) строятся на двух отдельных задачах: пространственной и спектральной разметке. Это приводит к нерентабельному использованию ресурсов и затруднению обучения на лёгких архитектурах. Поэтому, необходима стратегия, которая может объединить эти две задачи в единой модели, чтобы улучшить производительность и эффективность обучения. #### Метод Мы предлагаем **Curriculum Multi-Task Self-Supervision (CMTSSL)** — рамфторму, которая интегрирует маскирование изображений с раздельным решением пространственных и спектральных головоломок (jigsaw puzzles). Эта стратегия использует самостоятельное обучение с последовательным увеличением сложности задач (curriculum learning). Мы используем два маскирования: одно для декомпозиции изображения по пространству, другое — по спектру. Затем, эти маски используются для сборки головоломок, которые нужно решить для обучения модели. Это позволяет объединить два типа признаков — пространственные и спектральные — в одной модели. В результате модель становится более устойчивой и эффективной для сегментации изображений. #### Результаты Мы проверили CMTSSL на четырёх общедоступных датасетах для сегментации спутниковых изображений. Мы сравнили нашу модель с двухзадачными самостоятельно обучающимися моделями и стандартными моделями на основе машинного обучения. Наши результаты показали, что CMTSSL даёт значительные выигрыши в производительности, особенно при использовании лёгких архитектур. Мы показали, что модель CMTSSL лучше справляется с задачей сегментации, даже если она использует архитектуры, которые 16,000 раз легче, чем те, что используются в современных моделях. Эти результаты показывают, что наш подход может эффективно обрабатывать данные спутников с минимальными затратами ресурсов. #### Значимость Помимо сегментации, наш подход может быть применён в других задачах, таких как классификация объектов на изображениях, изменение детекции и мониторинг окружающей среды. Он позволяет сократить объём передаваемых данных, что значительно снижает нагрузку на спутниковые системы. Это значительно улучшает эффективность использования ресурсов в системах с огра