Bernoulli-LoRA: A Theoretical Framework for Randomized Low-Rank Adaptation

#### Контекст Parameter-efficient fine-tuning (PEFT) является ключевым подходом для адаптации больших обученных моделей к конкретным задачам, особенно с учетом непрерывного роста размеров моделей. Наиболее успешным подходом в этой области является Low-Rank Adaptation (LoRA), которая предлагает выразить адаптацию через произведение двух низкоранговых матриц. Хотя LoRA пользуется большим практическим применением, теоретическое понимание ее работы остается недостаточным. Недавние исследования, такие как RAC-LoRA (arXiv:2410.08305), стали первым шагом в направлении глубокого анализа. В настоящей работе мы предлагаем Bernoulli-LoRA — новый теоретический фреймворк, который унифицирует и расширяет существующие подходы LoRA. Мы предлагаем использовать проблему Бернулли для выбора матрицы для обновления, что позволяет унифицировать различные стратегии обновления, в то же время сохраняя теоретическую доступность. #### Метод Мы предлагаем Bernoulli-LoRA, который включает несколько вариантов различных методов обновления. Наш фреймворк построен на основе механизма Бернулли, который регулирует скорость и частоту обновлений матриц. Мы рассматриваем такие варианты, как Bernoulli-LoRA-GD (построенный на градиентном спуске), Bernoulli-LoRA-SGD (стохастический градиентный спуск), Bernoulli-LoRA-PAGE, Bernoulli-LoRA-MVR, Bernoulli-LoRA-QGD, Bernoulli-LoRA-MARINA и Bernoulli-LoRA-EF21. Для каждого варианта мы устанавливаем гарантии сходимости, включая общие теоретические гипотезы о неконвексных функциях. Также мы расширяем наш анализ для линейных и нелинейных функций, а также для случая сложности в адаптации. #### Результаты Мы проводим эксперименты для проверки нашей теории на различных задачах, включая обучение с подкреплением, классификацию изображений и текстов. Мы сравниваем наши результаты с другими подходами, такими как LoRA, RAC-LoRA и другие подходы PEFT. Наши эксперименты показали, что Bernoulli-LoRA не только обладает теоретической ценностью, но и демонстрирует высокую эффективность в практических задачах. Мы увидели, что использование проблемы Бернулли для выбора матрицы значительно улучшает скорость и качество обучения, а также увеличивает устойчивость модели к шумам. #### Значимость Мы видим возможности применения Bernoulli-LoRA в различных областях, таких как глубокое обучение, классификация текстов, обучение резильтатам, а также в области adaptive optimization. Наш подход может существенно улучшить эффективность адаптации моделей к новым данным, что важно для реального мира, где модели должны быстро адаптироваться к новым условиям. Мы также отмечаем, что наш подход может помочь в решени