SelfAdapt: Unsupervised Domain Adaptation of Cell Segmentation Models
2508.11411v1
cs.CV, cs.LG
2025-08-19
Авторы:
Fabian H. Reith, Jannik Franzen, Dinesh R. Palli, J. Lorenz Rumberger, Dagmar Kainmueller
Резюме на русском
## Контекст
Биомедицинская инстанс-сегментация является ключевым компонентом анализа биологических данных. Deep neural networks (DNNs), используемые в этой области, достигли статуса главного метода, особенно с моделями, такими как Cellpose, которые показывают выдающиеся результаты в сегментации клеток при работе с разнообразными биологическими данными. Однако эти модели часто страдают от уменьшения эффективности при работе с данными, отличающимися от типичных для обучения. Традиционно, устранение этой проблемы требует подклассификации моделей с помощью супервизированного онлайнового fine-tuning. Такой подход требует доступа к размеченным данным, наличие которых не всегда гарантируется, особенно в биологических исследованиях, где данные часто ограничены.
## Метод
Мы предлагаем SelfAdapt, метод, который позволяет адаптировать предобученные модели сегментации клетки без необходимости доступа к размеченным данным. Метод SelfAdapt основывается на технике student-teacher augmentation consistency training, в которой модель "учитель" (teacher) и "студент" (student) обучаются вместе, чтобы повысить консистентность между их выходами на аугментированных данных. Для дополнительной регуляризации внедрена L2-SP regularization, которая обеспечивает защиту предобученной модели от ненужных изменений. Кроме того, мы предлагаем label-free stopping criteria, который позволяет определить момент останова обучения, основываясь на неаугментированных данных. Этот подход позволяет не только достигать высокой точности, но и эффективно использовать ресурсы в ситуациях, где разметка данных затруднена или недоступна.
## Результаты
Мы оценили SelfAdapt на двух больших датасетах: LiveCell и TissueNet. На LiveCell SelfAdapt показала увеличение mean average precision (mAP) на 29.64% относительно базовой модели Cellpose. На TissueNet, где данные значительно отличаются от типичных для Cellpose, SelfAdapt достигла увеличения mAP на 24.56%. Также мы проверили, насколько SelfAdapt может улучшить модели, которые были предварительно отточены с помощью супервизированного fine-tuning. Результаты показали, что SelfAdapt может даже улучшить показатели этих моделей, демонстрируя свою гибкость и эффективность.
## Значимость
Способность SelfAdapt адаптировать модели без доступа к руководству значительно расширяет их полезность в области биологии. Такие адаптированные модели могут быть применены в разных биологических исследованиях, где данные могут быть ограничены или недоступны. Метод также позволяет улучшить предварительно отточенные модели, увеличивая их точность и устойчивость. Это делает SelfAdapt важной компонентой для улучшения стандартов в биомедицинском анализе.
## Выводы
Мы представили SelfAdapt, метод, который позволяет адаптировать модели сегментации кл
Abstract
Deep neural networks have become the go-to method for biomedical instance
segmentation. Generalist models like Cellpose demonstrate state-of-the-art
performance across diverse cellular data, though their effectiveness often
degrades on domains that differ from their training data. While supervised
fine-tuning can address this limitation, it requires annotated data that may
not be readily available. We propose SelfAdapt, a method that enables the
adaptation of pre-trained cell segmentation models without the need for labels.
Our approach builds upon student-teacher augmentation consistency training,
introducing L2-SP regularization and label-free stopping criteria. We evaluate
our method on the LiveCell and TissueNet datasets, demonstrating relative
improvements in AP0.5 of up to 29.64% over baseline Cellpose. Additionally, we
show that our unsupervised adaptation can further improve models that were
previously fine-tuned with supervision. We release SelfAdapt as an easy-to-use
extension of the Cellpose framework. The code for our method is publicly
available at https: //github.com/Kainmueller-Lab/self_adapt.
Ссылки и действия
Дополнительные ресурсы: