Compression Beyond Pixels: Semantic Compression with Multimodal Foundation Models

## Контекст В modern deep learning-based image compression methods achieve сompetitive rate-distortion performance through extensive end-to-end training and advanced architectures. Однако, emerging applications increasingly prioritizе semantic preservation over pixel-level reconstruction and demand robust performance across diverse data distributions and downstream tasks. Тhese challenges call for advanced semantic compression paradigms. Мultimodal foundation models, leveraging their zero-shot and representational capabilities, оffеr a promising direction for addressing these challenges. ## Метод Мы предлагаем novel semantic compression method based on the contrastive language-image pretraining (CLIP) model. Метод основывается на том, что вместо сжатия изображений для реконструкции, мы сжимаем CLIP feature embeddings в минимальные биты, сохраняя семантическую информацию для различных задач. Это позволяет эффективно представлять информацию с минимальным потреблением ресурсов. Такой подход гарантирует высокую семантическую целостность и декодирование в различных условиях. ## Результаты Проведены эксперименты с benchmark datasets, показывающие, что наш метод сохраняет семантическую целостность даже при extreme compression. Общий bit rate составил примерно 2-3 * 10**(-3) bits per pixel, что меньше чем 5% от bitrate, необходимого для mainstream image compression сравнимой степени performance. Благодаря zero-shot robustness, метод оказался устойчивым к разным data distributions и downstream tasks, даже при extreme compression. ## Значимость Предложенный подход имеет широкую область применения в сферах, где семантическая информация имеет первостепенное значение, таких как computer vision, мобильные устройства, и internet of things. Он предлагает существенное преимущество в снижении bitrate без потери semantic integrity, что может повлиять на развитие новых приложений. ## Выводы Предложенный метод демонстрирует высокую семантическую целостность при extreme compression, обеспечивая robust performance в разных условиях. Наше future work будет сконцентрировано на дальнейшем улучшении метода, в том числе его применении в реальных-времени приложениях и его усовершенствовании для различных downstream tasks.