EfficientUICoder: Efficient MLLM-based UI Code Generation via Input and Output Token Compression

## Контекст В последние годы Multimodal Large Language Models (MLLMs) продемонстрировали неординарную эффективность в решении задач UI2Code, значительно улучшив процесс разработки веб-приложений. Однако, эти модели связаны с высокой вычислительной нагрузкой из-за большого числа входных токенов изображений и значительного количества выходных токенов кода. Большая часть этой нагрузки связана с высоким уровнем ненужных токенов, которые не только усложняют процесс, но и приводят к производству длинных и не всегда корректных HTML-файлов. Наше исследование показало, что входные и выходные токены могут быть эффективно сжаты без потери качества. ## Метод EfficientUICoder представляет собой рамку, основанную на компрессии токенов, которая состоит из трёх главных компонентов. **Элемент и Разметка-ориентированная компрессия токенов** (Element and Layout-aware Token Compression) использует детектирование регионов элементов и построение дерева элементов пользовательского интерфейса для сохранения важных данных. **Регион-ориентированная рефинализация токенов** (Region-aware Token Refinement) применяет атентсионные скоринги для отсеивания незначимых токенов, сохраняя важные токены из невыбранных областей. **Динамическое уменьшение повторений токенов** (Adaptive Duplicate Token Suppression) отслеживает структуру HTML/CSS, чтобы применить экспоненциальные наказания за повторения. ## Результаты Мы провели тщательные эксперименты, используя разнообразные данные, включая реальные сайты. Результаты показали, что EfficientUICoder достигает сжатия в 55-60% без потери качества. Он снижает вычислительные затраты на 44,9%, уменьшает выделяемые токены на 41,4%, снижает время предварительной загрузки на 46,6% и время инференса на 48,8% при работе с моделями 34B-уровня. Этот подход позволяет уменьшить ресурсы, необходимые для синтеза кода, и улучшает качество результата, особенно в задачах с ограниченным объёмом вычислительных ресурсов. ## Значимость Предложенный подход может использоваться в различных сферах, включая разработку мобильных и веб-приложений, разработку пользовательских интерфейсов, и другие области, где требуется эффективная генерация кода. Он позволяет экономить ресурсы, улучшать скорость работы моделей и сокращать время, затрачиваемое на разработку. Это может привести к значительному улучшению процессов разработки веб-приложений, уменьшению затрат на вычисления и увеличению производительности. ## Выводы Мы представили EfficientUICoder, эффективное решение для сжатия токенов, которое значительно улучшает производительность в задачах UI2Code. Наши результаты показали, что модель эффективно сжимает входные и выходные токены, сохраняя кач