Hierarchical Adaptive networks with Task vectors for Test-Time Adaptation

## Контекст Проблема тест-тайм адаптации заключается в том, что наиболее распространенные методы недостаточно эффективны при работе с разнообразными и сложными переходами доменов. Они оперируют одномерными линейными слоями, которые не могут полностью учесть все сложности в тест-тайм адаптации. Недостаточность этих методов влечет за собой ухудшение производительности моделей в нестандартных условиях. Мы предлагаем новую архитектуру, **Hierarchical Adaptive Networks with Task Vectors (Hi-Vec)**, которая использует несколько слоев различных размеров для динамической тест-тайм адаптации. Эта архитектура позволяет декомпозировать пространство представлений как в размерность, так и в сложность, чтобы повысить способность модели адаптироваться к разнообразным сценариям. Мы стремимся решить проблему недостаточности текущих методов по адаптации к изменениям доменов, обеспечивая гибкость и надежность в подборе слоев для адаптации при тесте. ## Метод **Hi-Vec** предлагает новую структуру, которая включает в себя несколько слоев, организованных в иерархический порядок, для более тонкой адаптации во время теста. Эти слои работают в динамическом режиме, при этом выбирается оптимальный слой для каждой конкретной батч-батче. Метод также использует **механизм динамического объединения весов**, который позволяет объединить веса из выбранного слоя с другими слоями, чтобы обеспечить постоянную синхронизацию целевой информации. Для того, чтобы избежать неточностей в адаптации, мы вводим **гейтинговую функцию**, которая определяет, насколько батч является шумным. Это позволяет избежать нежелательного применения адаптации на некорректных данных. Таким образом, Hi-Vec предлагает сложную, но эффективную методологию, которая динамически реагирует на разнообразие тестовых данных. ## Результаты Мы провели эксперименты, используя разнообразные данные, включая сценарии с высокой степенью перехода доменов и сложных шумовых условий. Модель Hi-Vec показала значительное повышение точности и улучшение способности адаптироваться к изменениям доменов в сравнении с базовыми методами. Мы протестировали Hi-Vec на нескольких целевых датасетов и показали, что она обеспечивает улучшение в метриках производительности, редкости и восприятия шума. Наши результаты доказали, что Hi-Vec может обрабатывать высокую степень изменения доменов, обеспечивая лучший результат в сегментации, классификации и других задачах, где требуется жесткая адаптация к изменениям в данных. ## Значимость Мы видим применение Hi-Vec во многих областях, где необходима гибкая адаптация моделей во время теста, например, в медицине, г