Fourier-VLM: Compressing Vision Tokens in the Frequency Domain for Large Vision-Language Models

#### Контекст Vision-Language Models (VLMs) являются ключевыми инструментами в области глубокого обучения, объединяющими возможности обработки текстов и изображений. Однако они сталкиваются с проблемой высокой вычислительной нагрузки, возникающей из-за большого количества визуальных токенов, необходимых для обработки изображений. Эти токены вводятся в модель через изображения, и их обработка требует значительных ресурсов. Это приводит к увеличению задержки инференса и ухудшению эффективности моделей. Таким образом, необходимо разработать методы, способные эффективно сжимать визуальные токены без потери качества или увеличения затрат. #### Метод Fourier-VLM предлагает уникальный подход к сжатию визуальных токенов, основанный на использовании преобразования Дискретного Косинуса (DCT) в двухмерном виде. Эта методика использует факт, что визуальные признаки, полученные с помощью современных оптических потоков, содержат большую часть своей энергии в низких частотных компонентах. Fourier-VLM применяет низкочастотный фильтр к визуальным признакам с помощью Фурье-преобразования, которое может быть эффективно реализовано с помощью Fast Fourier Transform (FFT), имеющего сложность $\mathcal{O}(n\log n)$. Этот подход является простым, но эффективным и не добавляет дополнительных параметров к модели. #### Результаты Эксперименты показали, что Fourier-VLM эффективно сжимает визуальные токены, сокращая их количество до 83.8% по сравнению с LLaVA-v1.5. Это приводит к существенному уменьшению количества FLOPs и увеличению скорости генерации текста на 31.2%. Эксперименты проводились на различных бенчмарках, и в результате Fourier-VLM демонстрирует высокую обобщаемость и высокую эффективность на различных моделях, таких как LLaVA и Qwen-VL. Эти результаты подтверждают практическую значимость данного подхода в решении проблем высокой нагрузки в области VLMs. #### Значимость Метод Fourier-VLM может применяться в различных приложениях, где требуется эффективно обрабатывать большие объемы визуальных данных. Он позволяет снизить затраты на вычисления и ускорить процессы инференса, что крайне важно для реализации моделей в реальном времени и для приложений, требующих высокой производительности. Благодаря своему простому и гибкому дизайну, Fourier-VLM может быть легко модифицирован и интегрирован в разные модели VLMs, что повышает его привлекательность для практического применения. #### Выводы Fourier-VLM доказывает, что использование преобразования Фурье для сжатия визуальных токенов является эффективным и практичным подходом к решению проблем высокой нагрузки в VLMs. Он положительно сказы