Efficient Inter-Task Attention for Multitask Transformer Models
2508.04422v1
cs.CV
2025-08-09
Авторы:
Christian Bohn, Thomas Kurbiel, Klaus Friedrichs, Hasan Tercan, Tobias Meisen
Резюме на русском
В статье предлагается новый подход для эффективного обработки задач в multitask transformer моделях. Основная проблема заключается в высоких вычислительных затратах на мультихедное внимание (Multi-Head-Attention) при обработке множества задач, которые растут экспоненциально с повышением количества задач. Это приводит к ограничениям в практической реализации на ограниченном оборудовании. Разработанное решение — Deformable Inter-Task Self-Attention — позволяет эффективно агрегировать информацию между задачами, существенно сокращая число операций и латентность вывода. На данных NYUD-v2 и PASCAL-Context была показана снижение FLOPs и латентности в несколько раз, при этом улучшив качество предсказаний на отдельных задачах до 7.4%.
Abstract
In both Computer Vision and the wider Deep Learning field, the Transformer
architecture is well-established as state-of-the-art for many applications. For
Multitask Learning, however, where there may be many more queries necessary
compared to single-task models, its Multi-Head-Attention often approaches the
limits of what is computationally feasible considering practical hardware
limitations. This is due to the fact that the size of the attention matrix
scales quadratically with the number of tasks (assuming roughly equal numbers
of queries for all tasks). As a solution, we propose our novel Deformable
Inter-Task Self-Attention for Multitask models that enables the much more
efficient aggregation of information across the feature maps from different
tasks. In our experiments on the NYUD-v2 and PASCAL-Context datasets, we
demonstrate an order-of-magnitude reduction in both FLOPs count and inference
latency. At the same time, we also achieve substantial improvements by up to
7.4% in the individual tasks' prediction quality metrics.
Ссылки и действия
Дополнительные ресурсы: