LLM-empowered Dynamic Prompt Routing for Vision-Language Models Tuning under Long-Tailed Distributions

## Контекст Предварительно обученные визуально-языковые модели (Vision-Language Models, VLMs), такие как CLIP, показали впечатляющие результаты в решении визуальных задач. Однако их методы дообучения часто сталкиваются с проблемами, связанными с несбалансированным распределением классов в обучающих данных, что приводит к усилению биаса и понижению качества моделей в задачах классификации. Это особенно актуально при работе с данными, имеющими долгобортовое распределение (long-tailed distribution). Несмотря на то, что недавние работы использовали большие языковые модели (LLMs) для улучшения дообучения VLMs, они часто не учитывают встроенную несбалансированность классов в предварительно обученных моделях, что приводит к проблемам в обработке редких классов. Мотивация для данных исследований заключается в разработке методов, которые могут эффективно справляться с проблемами несбалансированности классов в VLMs, обеспечивая стабильные и точные предсказания в условиях длинных хвостов. ## Метод Методология проведения исследований основывается на разработке фреймворка Multi-dimensional Dynamic Prompt Routing (MDPR), который использует пять визуально-семантических измерений для построения комплексного классификатора. Механизм динамического маршрутизации использует глобальные классы, оптимальные предложения (prompts) и семантическую библиотеку для балансировки тонкой семантики. В процессе обучения MDPR создает значительный объем семантической информации, которая позволяет модели оптимизировать свои предсказания. Для оценки результатов используется архитектура, позволяющая совместить выходные данные нескольких моделей (logits fusion), что обеспечивает более стабильные и точные результаты. Такой подход позволяет адаптировать VLMs к данным с длинными хвостами, уменьшая таким образом влияние несбалансированности классов на получаемые результаты. ## Результаты Для оценки эффективности MDPR были проведены эксперименты на таких популярных датасетах, как CIFAR-LT, ImageNet-LT и Places-LT. Использовались как обычные данные, так и данные, характеризующиеся долгими хвостами (long-tailed distribution). Результаты показали, что MDPR демонстрирует стабильные и точные результаты, значительно превосходя некоторые текущие лучшие решения (State-of-the-Art, SOTA). Благодаря многомерному подходу и динамическому механизму маршрутизации, модель показала способность балансировать глобальные классы и тонкость семантики, что значительно улучшило показатели в сравнении с другими подходами. Данные эксперименты также доказали, что динамический маршрутизационный механизм не добавляет существенного накладных расходов, что делает MDPR эффективным и производительным для использования в реа