Masked Autoencoders for Ultrasound Signals: Robust Representation Learning for Downstream Applications

## Контекст Маскированные аутоэнкодеры (MAE) — это модели, использующие маскирование выборки входных данных для эффективного обучения выражений. Они доказали свою эффективность в задачах анализа изображений и других областях. Однако в анализе одномерных сигналов, таких как ультразвуковые сигналы, использование MAE в самостоятельном обучении представительности (self-supervised representation learning) пока мало исследовано. Эти сигналы широко применяются в таких областях, как неразрушающий контроль (NDT) и мониторинг здоровья строительных конструкций (SHM), где данные часто необъемлемы, необработанные и относительно немногочисленны. Однако подготовка меток для таких сигналов требует больших усилий и знаний, что снижает эффективность применения супервизированных методов. Изучение возможностей MAE для обучения представительности ультразвуковых сигналов может существенно повысить производительность задач, таких как классификация источника времени перемещения (ToF). ## Метод Мы использовали модель Vision Transformer (ViT) в качестве основы для MAE, чтобы обучать представление ультразвуковых сигналов без меток. На вход подавались синтетические 1D-сигналы, полученные симулятором ультразвука. Маскирование производилось случайным образом для части сигнала, чтобы модель могла предсказать отсутствующие фрагменты. Мы изучали три ключевых параметра: размер модели, размер патча и процент маскированых данных. Для оценки эффективности выражений, полученных за счет маскирования, проводились эксперименты на задаче классификации ToF. Мы также сравнивали результаты с моделями, обучавшимися с нуля, и существующими методами на основе CNN. ## Результаты Исследования показали, что представления, полученные с помощью MAE, демонстрируют значительные выигрыши в производительности по сравнению с моделями, обученными с нуля, и CNN-основанными алгоритмами. Модели с самостоятельным обучением представления показали результаты, которые лучше конкурируют с лучшими методами, оптимизированными для задачи классификации ToF. Мы также обнаружили, что синтетические данные, использованные в обучении, позволяют модели проявлять лучшую трансфертивность при работе с реальными сигналами по сравнению с моделями, обученными исключительно на реальных данных. Эффективность модели зависит от подобранных параметров: размер модели, размер патча и процент маскированных данных. Мы обнаружили, что увеличение модели и маскированного процента улучшает качество представления в задаче классификации ToF. ## Значимость Наши результаты открывают новые возможности для обучения представления ультразвуковых сигналов в самостоятельном реж