WAVECLIP: Wavelet Tokenization for Adaptive-Resolution CLIP

#### Контекст На сегодняшний день, модели глубокого обучения, особенно в области зрительных задач, требуют больших вычислительных ресурсов. Многие из них работают с фиксированной разрешенностью входных данных, что ограничивает их эффективность при работе с изображениями различных размеров и качеств. Наличие необходимости учитывать все такие факторы подталкивает к разработке моделей, способных адаптироваться к задаче в любом времени. Одной из таких задач является adaptive resolution inference в CLIP (Contrastive Language-Image Pretraining). CLIP — мощная модель, которая признана эффективной в широком кругу задач зрительного понимания. Однако, возникают проблемы, связанные с расходом ресурсов на вычисления при работе с изображениями разного разрешения. Модель WAVECLIP предлагает решение этой проблемы, обеспечивая эффективную инференцию с выбором уровня разрешения "на лету". #### Метод WAVECLIP является первой моделью, использующей wavelet-based tokenization для adaptive resolution inference в CLIP. В этой модели изображения не обрабатываются как патчи, а представляются в виде многоуровневого wavelet-преобразования. Последовательность wavelet-составляющих (LL, LH, HL, HH) соответствуют уровням разрешения, начиная с конечного, и заканчивая полным разрешением. Затем изображение передается через сеть со слоями wavelet-трансформации и автокодировщиком. Архитектура также включает key-value caching и causal cross-level attention, что позволяет модели разделять усиленные вычисления только по мере необходимости. Эта структура позволяет WAVECLIP стимулировать вычисление только уровней, где это необходимо, что экономит вычислительные ресурсы. #### Результаты WAVECLIP была проверена в целом спектре зрительных задач, включая zero-shot classification. Для этих целей, модель использовала механизм gated confidence, который позволяет выполнять вычисления только при уверенности в точности. Результаты показали, что модель WAVECLIP достигает высокой точности с значительной экономией ресурсов по сравнению с другими моделями. Например, при использовании той же архитектуры, WAVECLIP реализует adaptive resolution inference, что позволяет выбирать степень разрешения и эффективность вычислений. Это демонстрирует преимущество модели в ситуациях, где требуется высокая скорость вывода при ограниченных ресурсах. #### Значимость WAVECLIP имеет широкие области применения в компьютерном зрении, где необходимо обрабатывать изображения разных размеров и качеств, таких как медицинские изображения, снимки с авиационных спутников, видеонаблюдение и т.д. Для таких задач, модель WAVECLIP может значительно сократить вычислительные затраты, в то же время сохраняя высокую точность. Благодаря своей универсальности, WAVECLIP может быть легко интегрирована в различные системы