HiCoLoRA: Addressing Context-Prompt Misalignment via Hierarchical Collaborative LoRA for Zero-Shot DST

#### Контекст Zero-shot Dialog State Tracking (zs-DST) является кллючевым компонентом для обеспечения гибкости и обобщаемости Task-Oriented Dialog Systems (TODs) при работе с новыми доменами без необходимости дорогостоящей аннотации данных. Однако, эта задача сталкивается с значительными вызовами, связанными с semantic misalignment между динамичными dialog contexts и статичными prompts. Это приводит к проблемам, таким как inflexible cross-layer coordination, domain interference, и catastrophic forgetting. Таким образом, целью данного исследования является разработка эффективного подхода, который улучшит cross-domain generalization zs-DST, устранив эти проблемы. #### Метод HiCoLoRA — это новая архитектура, основанная на Hierarchical Collaborative Low-Rank Adaptation (HiCoLoRA), которая улучшает zero-shot slot inference через robust prompt alignment. Основной элемент данного подхода — hierarchical LoRA architecture, которая обеспечивает dynamic layer-specific processing. Эта архитектура комбинирует lower-layer heuristic grouping с higher-layer full interaction для более точного взаимодействия в различных слоях. Также, в HiCoLoRA используется Spectral Joint Domain-Slot Clustering для идентификации transferable associations, которые подключаются к Adaptive Linear Fusion Mechanism для более точного объединения этих связей. Для сохранения и превращения pre-trained knowledge в новые знания во время fine-tuning, в HiCoLoRA используется Semantic-Enhanced SVD Initialization (SemSVD-Init). #### Результаты Запуск HiCoLoRA на мульти-доменных датасетах MultiWOZ и SGD показал его превосходство над существующими baseline-ами в zs-DST. Он достиг совершенно новых результатов в этой области, обеспечив State-of-the-Art (SOTA) результаты. Эксперименты проводились с различными параметрами и настройками, подтверждающими значительные преимущества HiCoLoRA в области cross-domain generalization и zero-shot slot inference. Код, реализующий данный подход, доступен на GitHub по ссылке: https://github.com/carsonz/HiCoLoRA. #### Значимость HiCoLoRA может быть использован в различных приложениях, таких как Task-Oriented Dialog Systems (TODs), которые требуют гибкой и обобщаемой обработки запросов в различных ситуациях. Основные преимущества HiCoLoRA включают в себя enhanced cross-layer coordination, domain interference reduction, и robust zero-shot slot inference. Данный подход имеет потенциал для значительного улучшения quality и efficiency в Task-Oriented Dialog Systems, обеспечивая более гибкое и эффективное обращение к динамичным запросам в новых доменах. #### Выводы HiCoLoRA продемонстрировал свою эффективность в решении проблем с semantic misalignment в zero-shot Dialog State Tracking. Он позиционируется как State-of-the-Art решение для новых доменов без необходимости дополнительных данных. Будущими направлениями исследований будут: улучшение adaptive fusion mechanisms, расширение поддержки датасетов, и исследование дальнейшего улучшения zero-shot generalization across различных NLP-задач.