Backpropagation-Free Test-Time Adaptation via Probabilistic Gaussian Alignment
2508.15568v2
cs.CV, cs.LG
2025-08-25
Авторы:
Youjia Zhang, Youngeun Kim, Young-Geun Choi, Hongyeob Kim, Huiling Liu, Sungeun Hong
Резюме на русском
#### Контекст
Тест-тайм адаптация (TTA) является кллючевым подходом для повышения многообразия моделей искусственного интеллекта в условиях сдвига распределений. Она позволяет моделям делать более точные прогнозы при использовании непомеченных данных теста во время инференции. Однако существуют значительные проблемы: многие подходы требуют бэкпропагейшн или итеративных оптимизаций, что ограничивает их скорость и удобство применения в реальном времени. Более того, нетребуется моделирование классовых функций распределений, что снижает качество и корректность моделей. Наша работа нацелена на решение этих проблем, обеспечивая эффективную и высокоточную адаптацию без использования бэкпропагейшна и без полного доступа к исходным данным.
#### Метод
Мы предлагаем ADAPT – Advanced Distribution-Aware and backPropagation-free Test-Time Adaptation. Метод ADAPT рефреймит TTA как задачу простого гауссовского пространства, где классы определяются с помощью средних значений признаков и общей ковариационной матрицы. Это позволяет достичь закрытого-формулы для оптимизации без тренировки. Для борьбы с возможным биасом в логистических шансах мы вводим легковесную регуляризацию, основанную на признаках CLIP и исторической базе знаний. Метод ADAPT требует только тестовых данных, не требует градиентных обновлений и начинает работу сразу после загрузки модели. Он поддерживает как онлайновые, так и трансдуктивные сценарии работы.
#### Результаты
Мы проводили эксперименты на множестве бенчмарков, таких как ImageNet-C, ImageNet-R, ImageNet-Sketch, CIFAR-10-C или CIFAR-100-C. ADAPT показал статистически значимый выигрыш по сравнению с современным тест-тайм адаптационными подходами. Он усиливает точность прогнозов, уменьшает значимость шума и улучшает структуру решений в трудных условиях сдвига распределения. Производительность ADAPT доказана как в онлайн-задачах, так и в трансдуктивных задачах, подтверждая высокую универсальность, скорость и простоту использования.
#### Значимость
Наш подход может применяться во многих сферах, где требуется высокая производительность моделей при работе с разными данными. Это и мобильные приложения, и системы автоматизированного видеомониторинга, и зонды искусственного интеллекта, работающие в условиях нестандартных условий. ADAPT обеспечивает высокую скорость, низкий пропускный процесс, легковесную регуляризацию и широкую поддержку различных сценариев. Эти преимущества делают нашу работу ключевым инструментом для повышения многообразия и надежности моделей в интеллектуальных системах.
#### Выводы
Мы пре
Abstract
Test-time adaptation (TTA) enhances the zero-shot robustness under
distribution shifts by leveraging unlabeled test data during inference. Despite
notable advances, several challenges still limit its broader applicability.
First, most methods rely on backpropagation or iterative optimization, which
limits scalability and hinders real-time deployment. Second, they lack explicit
modeling of class-conditional feature distributions. This modeling is crucial
for producing reliable decision boundaries and calibrated predictions, but it
remains underexplored due to the lack of both source data and supervision at
test time. In this paper, we propose ADAPT, an Advanced Distribution-Aware and
backPropagation-free Test-time adaptation method. We reframe TTA as a Gaussian
probabilistic inference task by modeling class-conditional likelihoods using
gradually updated class means and a shared covariance matrix. This enables
closed-form, training-free inference. To correct potential likelihood bias, we
introduce lightweight regularization guided by CLIP priors and a historical
knowledge bank. ADAPT requires no source data, no gradient updates, and no full
access to target data, supporting both online and transductive settings.
Extensive experiments across diverse benchmarks demonstrate that our method
achieves state-of-the-art performance under a wide range of distribution shifts
with superior scalability and robustness.
Ссылки и действия
Дополнительные ресурсы: