LEAF-Mamba: Local Emphatic and Adaptive Fusion State Space Model for RGB-D Salient Object Detection

## Контекст RGB-D salient object detection (SOD) — это задача, призванная определить наиболее выразительные объекты в сцене, используя краткородименсионные (RGB) и глубинные (D) сигналы. Она широко применяется в сферах, таких как видеонаблюдение, виртуальная реальность и робототехника. Однако существующие подходы часто сталкиваются с проблемами. Методы на основе CNNs ограничиваются ресипросными полями и показывают ограниченную локальную семантику. В то же время, Vision Transformers, хотя и обладают широким полем вида, страдают от высокой вычислительной сложности, что создает проблемы в балансировке производительности и эффективности. Недавно, state space models (SSM), такие как Mamba, показали свой потенциал в моделировании длинных зависимостей с линейной сложностью. Однако, применение SSM непосредственно к RGB-D SOD может привести к недостатку локальных семантик и недостаточной интеграции кросс-модальности. Данное исследование стремится решить эти проблемы, предлагая новую модель LEAF-Mamba. ## Метод LEAF-Mamba основывается на Mamba, но включает два основных компонента, способствующих улучшению производительности. 1) **Локальный эмпатический модуль SSM (LE-SSM)**: он предназначен для построения многомерных зависимостей внутри каждой модальности (RGB и D). Это достигается путем введения эмпатического признака, который выделяет важные локальные детали. 2) **СМ-адаптивный модуль слияния (AFM)**: это модуль, работающий на основе SSM, который обеспечивает дополнительную интерактивность между RGB и D-модальностями. Это позволяет добиться более устойчивого и надежного слияния кросс-модальности. Архитектура LEAF-Mamba адаптивно регулирует локальные зависимости и межмодальные взаимодействия, обеспечивая более точное и эффективное определение выделенных объектов. ## Результаты Исследования проводились на нескольких ключевых RGB-D SOD датасетах, включая NJU2K, SIP, DUT-RGBD и RT-RGBD. На проведенных экспериментах LEAF-Mamba показала значительное превосходство по метрикам, таким как S-Measure, E-Measure и MAE, по сравнению с 16 современными методами. Например, на датасете NJU2K LEAF-Mamba показала S-Measure 0,923, что является наилучшим результатом среди конкурентов. Также, отмечена высокая эффективность, показанная временем работы на GPU. Дополнительно, LEAF-Mamba демонстрирует отличные результаты на задаче RGB-T SOD (RGB-Thermal), указывая на высокую гибкость и общую применимость. ## Значимость Исследование имеет большое значение в сферах, где необходима точная и эффективная идентификация выделенных объектов. Это включает видеонаблюдение, видеоредактирование, интерактивные системы, а также робототехнику. У