UNIFORM: Unifying Knowledge from Large-scale and Diverse Pre-trained Models
2508.19498v1
cs.CV, cs.LG
2025-08-29
Авторы:
Yimu Wang, Weiming Zhuang, Chen Chen, Jiabo Huang, Jingtao Li, Lingjuan Lyu
Резюме на русском
#### Контекст
В многообразии предложений глубокого обучения существуют сотни предварительно обученных моделей, доступных для скачивания в открытом доступе. Эти модели, разработанные на различных архитектурах и обученные на разных наборах данных для разных задач, представляют различные точки зрения на реальный мир. Их совместная точка зрения, вероятно, является универсальной и генерализуемой для невидимых данных. Однако эффективное использование этого совместного знания представляется большой проблемой из-за разнообразия типов предварительно обученных моделей. Настоящее исследование рассматривает новый подход, который предназначен для улучшения эффективности использования знаний, объединенных из различных моделей, не прибегая к строгим предположениям о данных или архитектурах.
#### Метод
UNIFORM (Unifying Knowledge from Large-scale and Diverse Pre-trained Models) представляет собой новый подход к объединению знаний, предназначенный для трансфера знаний из различных предварительно обученных моделей в одну модель-ученицу. Он не требует строгих предположений о данных или архитектурах. Основной концепцией является новая механика голосования, которая позволяет передавать знания как на уровне логитов, взаимодействуя с моделями, которые могут предсказать целевые классы, так и на уровне функций, используя визуальные представления, наученные на произвольных метках классов. Набор экспериментов показал, что этот подход эффективно улучшает использование знаний для неученияго распознавания объектов.
#### Результаты
Тестирование решения производилось на различных наборах данных, включая ImageNet и другие. На основе этих экспериментов, UNIFORM показал существенное улучшение в неучеточном распознавании объектов по сравнению с теми решениями, которые были использованы в качестве базовых. Это решение показало значительную выгоду при работе с более чем 100 моделями-учителями, что значительно превышает емкость существующих методов.
#### Значимость
Решение UNIFORM может быть применено в различных областях, где требуется трансфер знаний из различных моделей. Основные преимущества заключаются в том, что оно может использоваться для обработки разнообразных данных без жестких ограничений на архитектуру или данные. Это значительно расширяет потенциал применения технологий глубокого обучения в различных сферах, включая обработку изображений, текста и другие задачи.
#### Выводы
UNIFORM представляет собой прорыв в области трансфера знаний из различных моделей. Оно позволяет эффективно объединять знания из многообразия предварительно обученных моделей без строгих ограничений на данные или архитектуру. Будущ
Abstract
In the era of deep learning, the increasing number of pre-trained models
available online presents a wealth of knowledge. These models, developed with
diverse architectures and trained on varied datasets for different tasks,
provide unique interpretations of the real world. Their collective consensus is
likely universal and generalizable to unseen data. However, effectively
harnessing this collective knowledge poses a fundamental challenge due to the
heterogeneity of pre-trained models. Existing knowledge integration solutions
typically rely on strong assumptions about training data distributions and
network architectures, limiting them to learning only from specific types of
models and resulting in data and/or inductive biases. In this work, we
introduce a novel framework, namely UNIFORM, for knowledge transfer from a
diverse set of off-the-shelf models into one student model without such
constraints. Specifically, we propose a dedicated voting mechanism to capture
the consensus of knowledge both at the logit level -- incorporating teacher
models that are capable of predicting target classes of interest -- and at the
feature level, utilizing visual representations learned on arbitrary label
spaces. Extensive experiments demonstrate that UNIFORM effectively enhances
unsupervised object recognition performance compared to strong knowledge
transfer baselines. Notably, it exhibits remarkable scalability by benefiting
from over one hundred teachers, while existing methods saturate at a much
smaller scale.
Ссылки и действия
Дополнительные ресурсы: