TASO: Task-Aligned Sparse Optimization for Parameter-Efficient Model Adaptation

#### Контекст Параметр-эффективная методика гибернации моделей (fine-tuning), такая как LoRA, получила широкую популярность благодаря простоте и эффективности. Однако многие исследования отмечают, что LoRA обычно вводит значительный параметрический избыток, что увеличивает размер модели и препятствует эффективному обучению. Удаление этих избыточных параметров является сложной задачей, поскольку идентификация избыточных элементов в LoRA требует точного анализа. Мы предлагаем TASO, метод, основанный на информации о весах предобученной модели, для уменьшения параметрического избытока в LoRA. #### Метод TASO использует важность параметров, определяемую на основе весов предобученной модели, для выявления областей, которые имеют сильнейшее влияние на целевую задачу. Эти области делятся на "ключевые" и "неключевые", а затем используются для определения структуры LoRA-модулей. Это позволяет уменьшить число необходимых параметров до того, как начать fine-tuning. Метод TASO предлагает новую точку зрения на уменьшение избыточности в LoRA, адаптируясь к задаче. #### Результаты Мы проверили TASO на нескольких задачах, включая обработку естественного языка и задачи классификации изображений. Наши эксперименты показали, что TASO постоянно превосходит стандартную LoRA в плане точности работы, даже при использовании одного и того же параметрического бюджета. Например, в задаче обработки естественного языка, TASO с $r = 1$ показал значительное улучшение в сравнении со стандартной LoRA. Эти результаты доказывают, что TASO эффективно уменьшает избыточность в LoRA без потери качества. #### Значимость TASO может применяться в различных областях, где необходима эффективная модель, например, для обработки естественного языка, классификации изображений и других задач, требующих ресурсоемких моделей. Он обеспечивает снижение требуемого числа параметров, уменьшая накладные расходы на обучение и развертывание моделей. Это может привести к более удобным и экономичным решениям в промышленных внедрениях. #### Выводы TASO доказывает, что можно значительно уменьшить избыточность в LoRA, используя информацию о весах предобученной модели. Это приводит к уменьшению числа параметров, необходимых для fine-tuning, при этом сохраняя качество работы модели. Будущие исследования будут направлены на расширение TASO для других параметр-эффективных методов гибернации и улучшение его эффективности на более сложных задачах.