CLIPin: A Non-contrastive Plug-in to CLIP for Multimodal Semantic Alignment

## Контекст Одной из основных проблем в области многомодального языково-изображения обучения (CLIP) является узкое многомодальное семантическое выравнивание, которое обусловлено слабой супервайзой в автоматически собранных больших многомодальных изображений-текстов. Добавляя к этому, в медицинских данных, где кросс-модальная корреляция высока, но разнообразие содержимого низко, такие проблемы становятся еще более заметными. Эти особенности затрудняют CLIP-стильные архитектуры в обучении надежных и генерализуемых многомодальных представлений. Мы предлагаем CLIPin — универсальный не-контрастивный плагин, который может быть эффективно встроен в CLIP-стильные архитектуры для улучшения многомодального семантического выравнивания, усиления прочности выравнивания и повышения универсальности. ## Метод Мы предлагаем CLIPin — не-контрастивный плагин, который использует две общие предобработчики для изображений и текстов, чтобы объединить контрастивное и не-контрастивное обучение в универсальной структуре. В дополнение к этому, CLIPin предоставляет более сильную супервайзой для повышения выравнивания многомодальных представлений. Этот плагин может быть легко интегрирован в различные CLIP-стильные архитектуры, чтобы улучшить многомодальное семантическое выравнивание и повысить универсальность. Таким образом, CLIPin является гибким и мощным инструментом для улучшения многомодальных представлений. ## Результаты Мы провели эксперименты на различных многомодальных задачах, используя различные CLIP-стильные архитектуры. Наши результаты показали, что CLIPin повышает прочность выравнивания многомодальных представлений и улучшает общеуниверсальную точность. На данных медицинских изображений-текстов, где кросс-модальная корреляция высока, но разнообразие содержимого низко, CLIPin продемонстрировал значительный прирост в производительности. Это показано в сравнении с базовыми моделями, что делает CLIPin эффективным и генерализуемым инструментом для многомодальных задач. ## Значимость CLIPin широко может быть применен в различных областях многомодального обучения, включая клинические приложения, где кросс-модальная корреляция высока, но разнообразие содержимого низко. Благодаря своей совместимости с различными CLIP-стильными архитектурами, CLIPin может быть легко интегрирован в существующие модели для повышения прочности выравнивания. Это делает его полезным для улучшения многомодальных представлений в различных доменах, в том числе медицинских. ## Выводы Мы предложили CLIPin — универсальный не-контрастивный плагин, который может улучшать многомодальное семантическое выравнивание в