MOCHA: Multi-modal Objects-aware Cross-arcHitecture Alignment

## Контекст На данный момент, видение и язык широко используются в различных приложениях, от распознавания объектов до генерации описаний изображений. Однако существуют значительные проблемы в синхронизации этих двух сфер. Например, визуальные модели часто не могут точно передать контекст и семантические отношения между объектами, что приводит к ошибкам в детектировании интересующих объектов. На стороне языка, текстовые модели требуют больших вычислительных ресурсов и не всегда эффективны в реальном времени. Мотивацией для разработки MOCHA (Multi-modal Objects-aware Cross-arcHitecture Alignment) является создание метода, который бы объединил преимущества визуальных и языковых моделей, обеспечив эффективную передачу семантических отношений между объектами в реальном времени. ## Метод MOCHA (Multi-modal Objects-aware Cross-arcHitecture Alignment) представляет собой метод знаний о взаимодействии визуальных и языковых моделей, который передает семантические отношения между объектами из визуальных моделей в модели языка. Основная идея заключается в том, чтобы привести функции объектов в универсальную форму, которую могут понимать обе модели. Для этого используется модуль перевода, который преобразует локальные функции объектов в глобальную структуру, где модель языка может использовать эти отношения для более точного детектирования. Эта модель работает с объектами на разных уровнях и не требует текстового ввода при интерпретации. Метод оптимизируется с помощью двойного функционала потерь, который включает в себя локальный и глобальный аспекты. ## Результаты В ходе экспериментов MOCHA была протестирована на четырьмя персонализированными детектированиями в режиме небольших обучений. Она показала существенные выигрыши по сравнению с традиционными методами. Например, в тестах под условиями небольших обучений, MOCHA показала увеличение точности на 10.1% по сравнению с базовыми моделями. Она также достигла результатов, которые совпадают с результатами более крупных моделей, несмотря на то, что имеет компактную архитектуру. Это доказывает возможность её использования в реальных сценариях, где необходима эффективность и точность. ## Значимость MOCHA может применяться в различных областях, включая распознавание объектов, синтез описаний изображений, и даже в системах, требующих реального времени детектирования. Её преимущество заключается в том, что она может эффективно передавать семантические отношения между объектами, не требуя текстового ввода во время интерпретации. Это делает её подходящей для приложений, которые требуют высокой производительности