SEQR: Secure and Efficient QR-based LoRA Routing

## Контекст Появление Low-Rank Adaptation (LoRA) превратилось в стандартный подход для эффективного подготовки к работе больших языковых моделей с помощью низкоранжевых адаптеров. Этот подход позволяет создавать большие библиотеки LoRA, каждый из которых нацелен на конкретную задачу или домен. Однако эффективное выбор адаптера для заданного входных данных остается проблемой, особенно в защищенных средах, где настройка рутеров на основе супервизированного обучения может вызывать проблемы в области конфиденциальности. Ранее предложенные подходы, основывающиеся на принципах самостоятельного обучения и активации нормы, предполагали лишь решение частичных задач, не удовлетворяя полностью требованиям по гибкости и безопасности в широком круге применений. Мы рассмотрим новый подход, основывающийся на теоретической модели, которая обеспечивает безопасность и эффективность в работе с LoRA. ## Метод Мы предлагаем SEQR, алгоритм самостоятельного выбора адаптеров LoRA, который оптимизирует выбор путем активации нормы. Наша методология основывается на теореме о максимальной норме, которая позволяет проверить идею, что норма активации может быть использована для выбора наиболее подходящего адаптера. Мы применяем эту теорию для формализации целей рутера LoRA, который не только должен выбирать адаптер, но и должен обеспечивать уверенность в том, что адаптер будет выбран с минимальными затратами на вычисления. Мы разработали SEQR, который использует законность нормы активации для эффективного выбора адаптера, и предоставили архитектуру, которая обеспечивает высокую производительность и гибкость в различных сценариях применения. ## Результаты Мы проверили работу SEQR на различных наборах данных, включая задачи с разным количеством адаптеров и различной сложностью. Мы сравнили SEQR с другими существующими методами, такими как LoRA-Router и традиционные методы самостоятельного обучения. Наши эксперименты показали, что SEQR обеспечивает более точный выбор адаптера, чем другие методы, с меньшими затратами на вычисления и более высокой скоростью обработки. Кроме того, мы проверили наши результаты на защищенных данных и показали, что SEQR обеспечивает безопасность не только в области гибкости, но и в области конфиденциальности. ## Значимость SEQR может быть применен в различных сферах, включая безопасные и эффективные системы рутера для языковых моделей, защищенных приложений, где конфиденциальность и безопасность являются ключевыми аспектами. Наш подход предоставляет более эффективный и надежный способ выбора адаптеров, чем существующие решения. Это может привести к более бы