I-Segmenter: Integer-Only Vision Transformer for Efficient Semantic Segmentation

## Контекст Vision Transformers (ViTs) стали одним из ведущих подходов в области зрелых искусственных нейронных сетей для семантической сегментации. Однако, их производительность и эффективность ограничиваются высоким расходом ресурсов, который не позволяет использовать такие модели на устройствах с ограниченными ресурсами. Это приводит к значительным проблемам при развертывании ViTs в реальных сценариях, где необходимо минимизировать объем вычислительных операций и уменьшить потребление памяти. Недостаточная стабильность ViT-моделей при использовании низкой точности аппаратной поддержки далее усложняет их применение. Мы предлагаем I-Segmenter, первую в мире полностью integer-only ViT модель для сегментации. Она разработана на основе Segmenter и значительно улучшает эффективность, оптимизируя использование ресурсов и уменьшая затраты на вычисления. ## Метод I-Segmenter использует весь граф вычислений в integer-only режиме, включая активации, нормализацию, интерполяцию, и все операции свертки. Для улучшения вычислительной стабильности мы предлагаем новую активацию $\lambda$-ShiftGELU, которая эффективно справляется с вызовами, связанными с низкой точностью, и стабилизирует обучение и выполнение модели. Мы также удаляем L2-нормализацию и заменяем bilinear interpolation на nearest neighbor upsampling, чтобы получить integer-only реализацию во всей модели. Эта интересная комбинация техник позволяет I-Segmenter работать в integer-only режиме, уменьшая вычислительные затраты и улучшая производительность. ## Результаты Мы провели обширные эксперименты с использованием различных данных для сегментации и сравнили I-Segmenter с другими моделями. Модель показала внутри-маргинальные отклонения от baseline-результатов (5.1% в среднем) при уменьшении размера модели на 3.8x и увеличении скорости выполнения до 1.2x. Мы также проверили I-Segmenter на условиях one-shot post-training quantization (PTQ), и она показала высокую точность даже при одном калибровочном изображении, что демонстрирует ее практичность для реального развертывания. ## Значимость I-Segmenter может быть использована в различных приложениях, где требуется эффективная сегментация изображений на ресурс-ограниченных устройствах, таких как мобильные устройства, IoT-устройства, и автомобильная техника. Основные преимущества включают высокую производительность, минимальные затраты на вычисления, и стабильность работы в низкой точности. Это открывает пути для широкого применения ViTs в сценариях, где до недавнего времени такие модели были неприменимы. ## Выводы Мы представили I-Segmenter, первую integer-only ViT модель для сегментации, которая эффективно решает проблемы с вычислительной стоимостью и расходом памяти. Наши результаты показывают, что I-Segmenter со