AdaRing: Towards Ultra-Light Vision-Language Adaptation via Cross-Layer Tensor Ring Decomposition

## Контекст В последние годы стали получать всё большую популярность модели визуального понимания языка, которые обладают высокой точностью и гибкостью при решении различных задач. Однако, применение этих моделей к реальным задачам часто сталкивается с проблемой их большого размера и высоким потреблением ресурсов. Это особенно актуально при их применении в устройствах с ограниченным мощностью вычислений. Уменьшение размера моделей, не уменьшая их производительности, является ключевым требованием для эффективного применения в реальной жизни. В этой статье мы рассматриваем проблему уменьшения размера моделей для эффективного использования визуально-языковых моделей в различных задачах. ## Метод Для достижения эффективного применения визуально-языковых моделей мы предлагаем использовать новую методологию, основанную на тензорной декомпозиции. Мы вводим понятие **Cross-Layer Tensor Ring Decomposition (TRD)**, которая позволяет уменьшить размер модели, сохранив при этом высокую точность. Это достигается за счёт использования кросс-слойной декомпозиции, которая удаляет из модели ненужные тензоры и уменьшает размер всего модели. Мы также вводим идею **Adaptive Ring Collaboration**, чтобы адаптировать размер и количество адаптеров в зависимости от задачи. Это позволяет достичь большей эффективности в ресурсов и увеличить производительность модели. ## Результаты Мы проводили эксперименты с различными моделями визуально-языковых моделей и сравнили их с нашей моделью AdaRing. Наши результаты показывают, что AdaRing позволяет достичь **уменьшения размера модели на 90%**, при этом сохраняя высокую точность. Мы провели эксперименты на различных задачах, включая обнаружение объектов, классификацию изображений и текста, и показали, что наша модель показывает лучшие результаты при меньшей модели. Это позволяет использовать модель в устройствах с низким расходом ресурсов, таких как мобильные устройства и смартфоны. ## Значимость Мы видим огромный потенциал нашего подхода в применении в широком круге задач, включая **мобильные приложения**, **машинное зрение**, **интеллектуальные системы** и **реального времени обработки изображений**. Наш подход не только увеличивает производительность моделей, но и позволяет их применять в устройствах с ограниченным мощностью вычислений. Это значит, что наш подход может быть применен в различных областях, включая **машинное обучение** и **видеонаблюдение**. Мы считаем, что наша модель может существенно повлиять на развитие визуально-языковых моделей в будущем. ## Выводы Мы предлагаем новый подход к уменьшению размера моделей визуально-языковых моделей, основанный на кросс-слойной декомпозици