Backpropagation-Free Test-Time Adaptation via Probabilistic Gaussian Alignment
2508.15568v1
cs.CV, cs.LG
2025-08-23
Авторы:
Youjia Zhang, Youngeun Kim, Young-Geun Choi, Hongyeob Kim, Huiling Liu, Sungeun Hong
Резюме на русском
## Контекст
**Тест-тайм адаптация (TTA)** — это метод, позволяя моделям адаптироваться к несогласованности между тренировочными и тестовыми данными в сценариях без метки (zero-shot). Он особенно полезен при работе с распределениями, требующими постоянной адаптации в реальном времени. Однако существуют несколько ограничений. Многие методы требуют бэкпропаграции или итеративной оптимизации, что приводит к ограничению на скорость и реальному времени. Более того, недостаточное моделирование классовых распределений функций затрудняет получение точных границ решений и калиброванных предсказаний. Эти проблемы могут быть решены, чтобы улучшить широковещательность и применимость TTA в реальной ситуации.
## Метод
Мы предлагаем **ADAPT** — Advanced Distribution-Aware and Backpropagation-Free Test-Time Adaptation. Этот метод представляет вопрос TTA в виде задачи простой гипотезы в рамках моделирования классовых распределений в гипотезе. Мы используем постепенно обновляемые классовые средние значения и общую матрицу ковариации, чтобы установить гипотезу. Для устранения возможного влияния биаса, мы вводим лёгкую регуляризацию, основанную на CLIP-признаках и исторической базе знаний. Наш метод не требует первичных данных, градиентных обновлений или полного доступа к тестовым данным, что позволяет использовать его в онлайн- и трансдуктивных сценариях.
## Результаты
Мы проверили ADAPT на различных бенчмарках, включая CIFAR-10-C, CIFAR-100-C и ImageNet-C. Метод показал значительное улучшение в сравнении с современными TTA-методами под различными распределениями условий. Он доказал высокую скорость, гибкость и точность в процессе адаптации. Особенно заметно был выигрыш в ситуациях с повышенными затруднениями (например, шумом или изменениями контраста).
## Значимость
ADAPT может применяться в различных областях, таких как мобильные приложения, космическая эксплуатация, медицина и распознавание образов в реальном времени. Он предлагает значительное преимущество в скорости и надежности по сравнению с традиционными TTA-методами. Благодаря использованию простых гипотез и закрытых формул, ADAPT гарантирует эффективный и стабильный инференс без использования оборудования для оптимизации.
## Выводы
Мы представляем **ADAPT** — новую модель TTA, которая устраняет необходимость в бэкпропаграции и итеративном обучении. Наши результаты показывают, что ADAPT превосходит текущие методы в сфере TTA. Мы планируем продолжить работу над улучшением модели для более сложных распределений данных и рассмотреть возможность применения в различных многообразных приложениях.
Abstract
Test-time adaptation (TTA) enhances the zero-shot robustness under
distribution shifts by leveraging unlabeled test data during inference. Despite
notable advances, several challenges still limit its broader applicability.
First, most methods rely on backpropagation or iterative optimization, which
limits scalability and hinders real-time deployment. Second, they lack explicit
modeling of class-conditional feature distributions. This modeling is crucial
for producing reliable decision boundaries and calibrated predictions, but it
remains underexplored due to the lack of both source data and supervision at
test time. In this paper, we propose ADAPT, an Advanced Distribution-Aware and
backPropagation-free Test-time adaptation method. We reframe TTA as a Gaussian
probabilistic inference task by modeling class-conditional likelihoods using
gradually updated class means and a shared covariance matrix. This enables
closed-form, training-free inference. To correct potential likelihood bias, we
introduce lightweight regularization guided by CLIP priors and a historical
knowledge bank. ADAPT requires no source data, no gradient updates, and no full
access to target data, supporting both online and transductive settings.
Extensive experiments across diverse benchmarks demonstrate that our method
achieves state-of-the-art performance under a wide range of distribution shifts
with superior scalability and robustness.
Ссылки и действия
Дополнительные ресурсы: