SAM$^{*}$: Task-Adaptive SAM with Physics-Guided Rewards
2509.07047v1
cs.CV, cond-mat.mtrl-sci, cs.LG
2025-09-11
Авторы:
Kamyar Barakati, Utkarsh Pratiush, Sheryl L. Sanchez, Aditya Raghavan, Delia J. Milliron, Mahshid Ahmadi, Philip D. Rack, Sergei V. Kalinin
Резюме на русском
## Контекст
Image segmentation является критически важной задачей в области микроскопии, необходимой для точного анализа и интерпретации сложных визуальных данных. Она может быть выполнена с помощью настроенных под конкретное приложение моделей, трансферного обучения с предварительно обученных моделей или фундаментальных моделей, предлагающих широкое применение. Однако фундаментальные модели часто подвержены ряду проблем, в том числе непрозрачности в настройке параметров, что затрудняет их использование в реальном времени для анализа потоковых данных. Наша мотивация заключается в устранении этих ограничений, с помощью разработки более гибкой и эффективной модели для решения задач изображения в микроскопии.
## Метод
Мы предлагаем новую методологию, основанную на финансировании модели SAM (Segment Anything Model) с помощью физико-ориентированных наград. Это позволяет адаптировать модель к конкретным задачам изображения. Мы используем настраиваемые физические критерии, такие как размеры частиц, формы и другие параметры, для оптимизации внутренних параметров модели. Это позволяет SAM$^{*}$ уменьшить необходимость в ручной оптимизации и увеличить скорость и точность работы в реальном времени. Наша архитектура включает в себя слои, которые могут адаптироваться к различным задачам изображения, а также функции оптимизации, которые позволяют модели SAM$^{*}$ быть более эффективной в анализе микроскопических изображений.
## Результаты
Мы провели эксперименты с использованием различных микроскопических данных, включая изображения клеток, материалов и наноструктур. Наши результаты показали, что SAM$^{*}$ превосходит оригинальную модель SAM в скорости и точности сегментации. Мы также сравнили SAM$^{*}$ с другими моделями, включая предварительно обученные модели, и продемонстрировали, что наш вариант SAM$^{*}$ демонстрирует значительные улучшения в обработке потоковых видеоданных и изображений микроскопических структур.
## Значимость
SAM$^{*}$ имеет многочисленные приложения в области микроскопии, включая анализ тел живых клеток, интерфейсов материалов, а также наномасштабных структур. Наш вариант SAM$^{*}$ обеспечивает более быструю и точную сегментацию, что значительно улучшает эффективность исследований в области микроскопии. Благодаря использованию наград, основанных на физике, мы повышаем гибкость и адаптивность SAM, что делает ее более подходящей для решения реальных задач в области анализа данных в реальном времени.
## Выводы
Мы представили SAM$^{*}$, расширенную версию SAM, которая использует физико-ориентированные награды для оптимизации. Этот подход демон
Abstract
Image segmentation is a critical task in microscopy, essential for accurately
analyzing and interpreting complex visual data. This task can be performed
using custom models trained on domain-specific datasets, transfer learning from
pre-trained models, or foundational models that offer broad applicability.
However, foundational models often present a considerable number of
non-transparent tuning parameters that require extensive manual optimization,
limiting their usability for real-time streaming data analysis. Here, we
introduce a reward function-based optimization to fine-tune foundational models
and illustrate this approach for SAM (Segment Anything Model) framework by
Meta. The reward functions can be constructed to represent the physics of the
imaged system, including particle size distributions, geometries, and other
criteria. By integrating a reward-driven optimization framework, we enhance
SAM's adaptability and performance, leading to an optimized variant, SAM$^{*}$,
that better aligns with the requirements of diverse segmentation tasks and
particularly allows for real-time streaming data segmentation. We demonstrate
the effectiveness of this approach in microscopy imaging, where precise
segmentation is crucial for analyzing cellular structures, material interfaces,
and nanoscale features.