Analysis of Transferability Estimation Metrics for Surgical Phase Recognition

## Контекст Область исследования — анализ методов для оценки передовой мощности (transferability) моделей машинного обучения в задачах анализа сургиских видео. Одним из основных заданий в этой области является выбор наиболее подходящей предобученной модели для дальнейшего fine-tuning на задачу распознавания фаз сургерии. Этот выбор становится критически важным в условиях ограниченного количества меток, необходимых для обучения. Одним из подходов является source-independent transferability estimation (SITE), позволяющий предсказать эффективность fine-tuning'а на основе существующих векторов выхода или эмбеддингов модели, не требуя полной перепрограммировки. Несмотря на преимущества SITE, существуют проблемы, такие как ограниченная общность и возможность неточных оценок, которые могут привести к недостоверному выбору модели. Цель данного исследования — оценить и сравнить три широко используемых метрики SITE в контексте задачи распознавания фаз в сургерии (surgical phase recognition). ## Метод Методология основывается на сравнительном анализе трех метрик SITE: LogME, H-Score и TransRate. Данные для тестирования были взяты из двух различных наборов данных: RAMIE и AutoLaparo. Эти метрики были измерены для трех предобученных моделей, а результаты были сравнивались с реальным fine-tuning'ом для проверки точности предсказаний. Аблационные эксперименты проводились для оценки значимости различных аспектов, таких как качество модели, размеры датасетов и их разнообразие. Для визуализации и анализа результатов использовались графики, такие как boxplots и scatter plots. ## Результаты Результаты экспериментов показали, что LogME показывает наиболее точные предсказания для fine-tuning'а в большинстве случаев, особенно при использовании минимума персональных оценок подмножеств. H-Score оказался менее точным, несмотря на свою теоретическую основу. TransRate, наоборот, часто давал неверные рейтинги моделей, превращая приемлемые версии в предположительно более предпочтительные. Аблационные исследования продемонстрировали, что при схожем качестве моделей, transferability metrics становятся менее дискриминативными, что подчеркивает важность разнообразия моделей или дополнительных проверок для поддержки стабильных выборок. ## Значимость Полученные результаты имеют практическое значение для практических задач в сургерии, таких как распознавание фаз операций и анализ сургериальных видео. SITE-метрики помогают уменьшить накладные расходы на подготовку данных, оценивая передовую мощность моделей без полного fine-tuning'а. Это может существенно сократить время и затраты на обучение моделей. Кроме того, результаты могут быть применены в других областях, где требуется оптимизация выбора предобученных моделей, таки