LoFT: Parameter-Efficient Fine-Tuning for Long-tailed Semi-Supervised Learning in Open-World Scenarios

#### Контекст Long-tailed learning широко применяется в реальных сценариях, где выборки выстраиваются в имперфектные распределения. Long-Tailed Semi-Supervised Learning (LTSSL) позволяет повысить эффективность обучения за счет использования большого объема необъективных данных. Однако, существующие методы обучения LTSSL часто обучаются с нуля, что приводит к проблемам, таким как оверфиттинг и недостоверные псевдометки. В этом контексте возникает потребность в методах, которые могут повысить качество обучения, особенно в условиях неоднородных данных. #### Метод Мы предлагаем LoFT (Long-Tailed Fine-Tuning), расширяющий LTSSL в парадигму переноса базовых моделей. Наш алгоритм основывается на фине-тюнинге предобученных моделей с помощью параметр-эффективных методов. Мы используем прототипы и адаптируемные методы, чтобы улучшить генерацию псевдометок и уменьшить ошибки в имперфектных распределениях. Для улучшения устойчивости в пространстве данных, мы предложили LoFT-OW (Long-Tailed Fine-Tuning under Open-World), который решает проблему выявления выходных данных из распределения. #### Результаты Мы проводим эксперименты на нескольких задачах, включая CIFAR-10-LT и ImageNet-LT. Мы сравниваем наш метод с тремя основными подходами LTSSL. Используя только 1% от необъективных данных, LoFT показывает значительное улучшение в производительности по сравнению с предыдущими подходами. Особенно выдающимися результатами LoFT показывает при открытом мире сценариях, где OOD-данные присутствуют в обучающей выборке. #### Значимость Метод LoFT широко применим в сценариях, где данные имеют неоднородные распределения и существует необходимость в улучшении качества обучения. Он позволяет увеличить устойчивость моделей к искажениям и улучшить их применение в реальном мире. Благодаря параметр-эффективному применению, LoFT экономит ресурсы и показывает высокую эффективность, даже в условиях недостатка данных. #### Выводы Мы представили LoFT, новый подход к LTSSL, который способен улучшить точность и устойчивость моделей в условиях необъективных данных. Наши результаты показывают, что LoFT превосходит предшествующие методы в обучении на небольших объемах данных. В будущем, мы планируем расширить LoFT для работы с более сложными распределениями и объективными данными.