ViSpec: Accelerating Vision-Language Models with Vision-Aware Speculative Decoding

#### Контекст Современные визуально-языковые модели (Vision-Language Models, VLMs) широко используются в задачах обработки и анализа изображений и текста. Однако их высокая сложность и большой объем вычислительных ресурсов ограничивают их эффективность, особенно при выполнении задач, требующих оперативного ответа. Техника спекулятивного декодирования (speculative decoding), широко используемая для ускорения больших языковых моделей, пока недостаточно эффективно применялась к VLMs. Это становится крайне важной проблемой, поскольку визуально-языковые модели становятся важной частью больших мультимодальных систем. Мы предлагаем новую модель, ViSpec, которая сочетает в себе визуально-адаптивный подход и улучшения в архитектуре, чтобы существенно ускорить декодирование VLMs. #### Метод ViSpec включает в себя несколько ключевых компонентов. Во-первых, мы предлагаем легкий модуль визуальной адаптации (lightweight vision adaptor), который сжимает изображение в компактное представление с помощью адаптивного сжатия токенов. Это решение позволяет сохранить ключевую информацию об изображении, при этом снижая объем вычислений. Во-вторых, мы добавляем в модель вспомогательный вектор, который передается из изображения в текст, чтобы повысить координацию между визуальными и текстовыми данными. Третьим компонентом является усовершенствованный алгоритм декодирования, который учитывает эти улучшения. Мы также предлагаем новую стратегию тренировки, основывающуюся на модифицированных промптах, чтобы избежать риска негативных последствий от прямого доступа к скрытым состояниям целевой модели. #### Результаты Мы провести многочисленные эксперименты на различных задачах, включая обработку текста и изображений. Наши эксперименты показали, что ViSpec достигает существенных ускорений (до 2.5x) по сравнению с другими методами спекулятивного декодирования. Этот результат был получен при сохранении высокой точности решения задач. Мы также проверили, насколько выгодны наши улучшения при работе с различными объемами данных и моделями. Результаты показали, что ViSpec работает эффективно на больших и малых моделях, повышая их производительность без потери качества. #### Значимость Предложенная модель ViSpec может быть применена в многих приложениях, где требуется быстрая и точная обработка визуально-языковых данных, такие как транскрипция речи в текст, синтез текста, системы советников и аналитические платформы. Ускорение, достигнутое с помощью ViSpec, позволяет использовать мощные визуально-языковые модели в реальном времени, улучшая их применение в системах с жесткими ограничениями по врем