TRUST: Leveraging Text Robustness for Unsupervised Domain Adaptation

#### Контекст Исследование рассматривает проблему неуправляемого доменного адаптирования (Unsupervised Domain Adaptation, UDA), когда стандартные методы испытывают трудности при сложных доменных сдвигах, таких как географические или стилистические различия. Эти сдвиги приводят к разным природам фонов и объектов в исходном и целевом домене, что существенно снижает эффективность адаптированных моделей. Учитывая, что языковая модификация показала устойчивость к таким сложным сдвигам, предлагается новый подход, использующий языковую модель для улучшения адаптации визуальных моделей. #### Метод Предлагаемый подход, **TRUST (Trustworthy Text-Guided Unsupervised Domain Adaptation)**, строится на основе использования текстовых описаний (капшенов) для обучения визуальных моделей. Метод создает псевдометки для целевых образов на основе текстовых описаний, используя модель генеративного языкового моделирования. Была разработана новая стратегия оценки неопределенности, основанная на скоррелированной нормированной схожести образов и текстов (CLIP), чтобы оценивать качество псевдометок и применять весовое корректирование для уменьшения влияния неверных меток. Для дальнейшего улучшения модели визуального распознавания введена многомодальная soft-contrastive loss, которая выравнивает пространства визуальных и текстовых признаков, используя текстовые описания для управления противоположностью визуальных представлений. #### Результаты На тренировочных данных DomainNet и GeoNet показаны результаты, показывающие превосходство над существующими методами доменного адаптирования. За счет использования текстовых описаний и многомодальной стратегии уменьшается частота ошибок в псевдометках и увеличивается устойчивость модели к сложным доменным сдвигам. Результаты на GeoNet, где происходят сильные сдвиги в фоновом и объектном виде, показывают, что TRUST превосходит предыдущие решения, устанавливая новый стандарт в тестировании UDA. #### Значимость Предложенный подход может быть применен в сценариях, где существуют сильные доменные сдвиги, такие как между синтетическими и реальными данными, между различными географическими областями или стилями. Он позволяет улучшить точность и надежность визуальных моделей в сложных со сдвигами реальности. Была доказана высокая эффективность приложений текстов в дополнение к визуальным моделям для более надежного доменного адаптирования. #### Выводы Результаты показывают, что TRUST значительно улучшает эффективность адаптации визуальных моделей при сложных доменных сдвигах. Будущие исследования будут направлены на улучшение многомодальной стратегии и расширение применений для других типов доменных сдви